Open Weights Passaram O Opus 5.5? O Que Um Benchmark Auto-Reportado Não Conta

Sumário
- Open Weights Passaram O Opus 5.5? O Que Um Benchmark Auto-Reportado Não Conta
- O Que A Moonshot Publicou, Linha Por Linha
- O Rodapé Que Muda A Leitura Da Tabela
- Inkling 2 Small E O Teto Que Os Benchmarks Já Bateram
- O Teste Da Alibaba: 26,4% De Tarefas Completas
- O Custo De Operar Pesos Abertos
- Como Eu Avaliaria Uma Troca De Modelo
- API fechada
- pesos abertos, self-hosted
- Conclusão
Open Weights Passaram O Opus 5.5? O Que Um Benchmark Auto-Reportado Não Conta
Toda vez que sai um modelo novo, chega uma mensagem no grupo do time com um print de tabela. Na primeira semana de novembro, o print era da Moonshot AI: o Kimi K3.1 Pro, com pesos abertos, aparecia com 51,7 no SWE Marathon v1.1, à frente dos 46,3 do Claude Opus 5.5 e dos 42,5 do GPT-6 Astra. A pergunta embaixo era a de sempre: "então dá pra trocar?". E, como quase sempre, a resposta honesta é "ainda não sei, e essa tabela não me diz".
Não quero diminuir o que está acontecendo. Na mesma semana, a Thinking Machines anunciou o Inkling 2 Small, com pesos sob Apache 2.0, e a Ricursive Intelligence soltou um modelo de 65 bilhões de parâmetros também aberto. A distância entre pesos abertos e a fronteira fechada está pequena, e quem trabalha com isso sente. O incômodo é outro: estamos decidindo arquitetura com base em números que o próprio fornecedor mediu, escolheu e formatou.
Preciso ser claro sobre o que este texto é. Não rodei o Kimi K3.1 Pro, não rodei o Inkling 2 Small e não reproduzi nenhum benchmark. O que segue vem da leitura do blog técnico da Moonshot, do model card no Hugging Face, do anúncio da Thinking Machines, da cobertura do The Decoder e de outros veículos sobre um teste da Alibaba com tarefas reais, e de análises secundárias que cito pelo nome. O post é de 20 de novembro de 2026, e os documentos que li são de 23 de outubro a 12 de novembro.
A posição é esta, e vou defendê-la no resto do texto: benchmark auto-reportado é material de marketing até alguém reproduzir. Ele serve para decidir o que testar, não o que adotar. O que importa para um time é a taxa de conclusão em tarefas reais do próprio repositório, o custo por tarefa concluída e, no caso de pesos abertos, o custo de operar o modelo. Vou passar pelo que a Moonshot publicou, pelo que o rodapé da tabela diz, pelo Inkling 2 Small, pelo teste da Alibaba e, no fim, por como eu montaria a avaliação.
O Que A Moonshot Publicou, Linha Por Linha
Os fatos de base primeiro. O Kimi K3.1 Pro estreou como modelo hospedado em 23 de outubro e teve os pesos publicados no Hugging Face e no ModelScope em 4 de novembro, segundo o AI Compass e a TechNode. É um mixture-of-experts com 2,8 trilhões de parâmetros totais e 104 bilhões ativos por token, contexto de 1.048.576 tokens, e os pesos dos experts saem em MXFP4 nativo, com ativações em MXFP8, produto de treinamento ciente de quantização. O model card cita vLLM, SGLang e TokenSpeed como motores de inferência. Até aqui, isso é especificação, e especificação dá para conferir baixando os arquivos.
Os números de desempenho são outra categoria. No model card, a tabela do SWE Marathon v1.1 traz o K3.1 Pro com 51,7, o Claude Opus 5.5 com 46,3, o Claude Fable 5.1 com 45,6, o GPT-6 Astra e o GLM-5.3 empatados em 42,5 e o DeepSeek-V4.1-Flash-1017 com 40,0. Todos esses valores são da Moonshot ou foram escolhidos por ela, e nenhum dos textos que li cita reprodução independente. A VKTR, que cobriu o lançamento hospedado em 25 de outubro, registra explicitamente que várias avaliações citadas são internas e não verificadas.
O que a manchete não mostra é que a tabela é mista. No mesmo conjunto de números da Moonshot, o K3.1 Pro fica 0,7 ponto atrás do Opus 5.5 no Terminal-Bench 4.0 (65,7 contra 66,4). No Program Bench, faz 31,5 contra 65,0 do Opus 5.5. No Terminal-Bench-Science 0.1, 38,1 contra 63,3 do Opus 5.5 e 68,1 do GPT-6 Astra. Esses números estão na mesma página que o 51,7. Quem leu só o print do grupo viu uma vitória; quem leu a tabela inteira viu um modelo muito competitivo, que ganha em algumas tarefas longas e perde com folga em outras.
Há ainda uma decisão de segurança que vale registrar, porque mostra que a Moonshot está pensando no que significa soltar pesos desse porte. Segundo a VKTR, a empresa removeu dados de cibersegurança do mid-training e tarefas de cyber do reforço na versão aberta. Na suíte interna de exploits, o checkpoint sem mitigação resolvia 90,5% e o liberado, 81%. É um número interno também, mas indica que o modelo publicado não é exatamente o mesmo que gerou todos os resultados de marketing do lançamento hospedado. Não sei medir o efeito disso em código comum, e a Moonshot diz que preservou as tarefas gerais de programação.
O Rodapé Que Muda A Leitura Da Tabela
O detalhe que mais pesa está numa nota de rodapé. No model card, a nota do SWE Marathon v1.1 diz que o Kimi K3.1 Pro e o DeepSeek-V4.1-Flash-1017 foram rodados com o Claude Code como harness, e que os demais valores vêm do leaderboard oficial. Ou seja, a linha da Moonshot é uma execução própria, num harness escolhido por ela, e as linhas dos concorrentes são números de terceiros, obtidos em outras condições. Não é desonesto, está escrito. Mas não é uma comparação controlada, e a manchete trata como se fosse.
Por que isso importa tanto? Porque o harness não é detalhe. O mesmo estudo da Alibaba que discuto mais adiante mediu que trocar só o ambiente de execução, mantendo o modelo, moveu resultados em até 19 pontos percentuais, e chegou a inverter qual de dois modelos ficava na frente. Os autores escreveram, na tradução do The Decoder, que leaderboards que listam só o modelo contam apenas parte da história. Uma diferença de 5,4 pontos entre 51,7 e 46,3 cabe com folga dentro do efeito de harness que esse estudo observou. Não estou dizendo que o K3.1 Pro não é melhor no SWE Marathon; estou dizendo que essa tabela não permite saber.
Há também o problema da escolha. Um fornecedor escolhe quais benchmarks publicar, quais concorrentes comparar, qual configuração usar e qual número destacar no post. A análise do braindetox nota que as colunas de Claude e GPT trazem condições diferentes da coluna do K3.1 Pro, e que vários benchmarks são conjuntos internos da Moonshot. Nada disso é exclusivo da Moonshot, todo laboratório faz isso, inclusive os fechados. Por isso a regra que proponho não é "desconfie dos chineses" nem "desconfie dos abertos". É desconfiar de qualquer número que tenha o mesmo autor do produto.
Escrevi em agosto sobre o quanto o leaderboard do SWE-Bench Pro estava menos confiável do que parecia, e o argumento continua. Leaderboard ajuda a formar uma lista curta de candidatos. Ele não diz quanto do seu backlog o modelo fecha sem alguém precisar refazer. Quando o print chega no grupo, a pergunta útil não é "quem ganhou", é "quem mediu, com que harness, e alguém de fora já repetiu".
Um cenário hipotético deixa o ponto mais concreto. Imagine um tech lead que vê o 51,7, decide migrar o agente de refatoração do time para o K3.1 Pro rodando num harness próprio, diferente do Claude Code, e descobre em duas semanas que a taxa de PRs aceitos caiu. O modelo não piorou; ele só foi avaliado num ambiente e usado em outro. O número de marketing estava certo para a configuração em que foi medido e errado para a dele. Esse é o tipo de erro que a tabela convida a cometer.
Inkling 2 Small E O Teto Que Os Benchmarks Já Bateram
O segundo lançamento da semana é instrutivo por outro motivo. A Thinking Machines anunciou o Inkling 2 Small em 5 de novembro: um mixture-of-experts com 594 bilhões de parâmetros totais e 17 bilhões ativos, entrada de imagem e esforço variável. No anúncio original, o modelo ficava disponível só pelo Tinker, com pesos fechados, e a empresa dizia que pretendia liberar os pesos sob Apache 2.0 na semana seguinte, depois de testes externos de segurança e red-teaming. Havia notícias conflitantes sobre isso, e a resposta está na própria página: uma atualização datada de 12 de novembro diz que os pesos já estão disponíveis para download no Hugging Face. O resumo do The Neuron de 13 de novembro confirma a liberação sob Apache 2.0.
O número de destaque é 86,3% no SWE-Bench Pro v2 Hard, com o mini-swe-agent v2.4.6 como harness, e 97,7% no conjunto completo. Olhe a mesma tabela e aparecem o DeepSeek-V4.1-Flash-1017 com 89,7% e o Kimi K3 com 88,2% no Hard. Ou seja, o modelo anunciado não é o primeiro da própria tabela, o que conta a favor da honestidade da Thinking Machines. A empresa também escreve que, para ter consistência, usa avaliações reportadas externamente para modelos internos e externos quando aplicável, e cita fontes como Artificial Analysis e Scale AI. É uma postura melhor do que rodar tudo internamente, embora a página não deixe claro, linha a linha, o que foi medido por quem.
O que me chama atenção é outra coisa: 97,7% no conjunto completo de um benchmark de engenharia de software. Quando vários modelos passam de 85% no recorte difícil e de 95% no completo, o benchmark parou de separar os modelos que importam. As diferenças que sobram ficam na mesma ordem de grandeza do ruído de harness, de temperatura e de seed. Esse é um sinal de saturação, e saturação é exatamente quando os números de marketing ficam mais bonitos e menos úteis.
Isso conversa com algo que escrevi em junho sobre a convergência dos modelos de fronteira e onde passa a estar a diferenciação. Quando o modelo base vira quase uma commodity nos benchmarks públicos, o que diferencia um time do outro é o harness, o contexto que você entrega, as ferramentas, a forma de validar a saída. O Inkling 2 Small, com 17 bilhões de parâmetros ativos, chegando a números parecidos com modelos muito maiores, reforça isso. A pergunta deixa de ser "qual modelo é o melhor" e passa a ser "qual combinação de modelo e ambiente fecha mais tarefas do meu tipo pelo menor custo".
Para completar o quadro da semana: o AI Compass relata que a Ricursive Intelligence liberou em 4 de novembro, sob Apache 2.0, o Ripple-65B Preview, um modelo denso de 65 bilhões de parâmetros com 80,52 no TerminalBench 2.1. Não encontrei fonte primária com esse número, então trato como relato do agregador, sem confirmação. Mas o padrão é o mesmo: pesos abertos, número alto, medição do próprio fornecedor. Três lançamentos, três tabelas, nenhuma reprodução independente que eu tenha encontrado até agora.
O Teste Da Alibaba: 26,4% De Tarefas Completas
Enquanto as tabelas de lançamento mostravam números na casa dos 50 a 90, um grupo de pesquisadores da Alibaba e de universidades asiáticas publicou o Co-Design Bench. O artigo foi para o arXiv em 26 de outubro e ganhou cobertura do The Decoder e do Let's Data Science em 8 de novembro. A ideia é simples e, a meu ver, a correta: em vez de tarefas sintéticas, usar pedidos reais de usuários em sessões reais de código. Segundo o Let's Data Science, as 273 tarefas foram curadas a partir de 37.463 consultas deduplicadas vindas de 26.314 sessões, com 2.331 critérios de aceitação escondidos, escritos por especialistas.
A seleção tem um viés deliberado, e é preciso dizê-lo. Os pesquisadores priorizaram casos em que o usuário precisou reformular o pedido ou desfazer mudanças, ou seja, tarefas que já tinham dado trabalho a agentes. Também são todas de modificação de aplicações web, algumas com imagem, áudio, vídeo ou documento como entrada. Não é o seu repositório, nem uma amostra neutra do trabalho de um dev. É uma amostra de trabalho difícil e real, o que já é mais próximo do que importa do que um benchmark saturado.
O resultado: dos dez modelos testados, o melhor foi o GPT-6 Astra, que atende em média 69,9% dos critérios de cada tarefa, mas entrega a tarefa inteira correta em só 26,4% dos casos. Na trilha multimodal, resolve 41%; na trilha de repositório, pouco menos de 18%. Em segundo lugar ficou o Claude Opus 5, depois o Qwen3.8-Max. Nos benchmarks antigos, os mesmos modelos passam de 99%, e no WebCompass-edit a diferença para o Co-Design Bench passa de 35 pontos. O sucesso é verificado por um juiz de IA que testa o app no navegador, e um segundo juiz revisa cada veredito positivo procurando mock ou resultado chumbado.
Dois achados conversam diretamente com o debate sobre pesos abertos. O primeiro é o do harness, que já citei: trocar o ambiente moveu resultados em até 19 pontos e inverteu a ordem entre modelos. O segundo é de custo: segundo o The Decoder, o GLM-5.2 usou quase seis vezes mais tokens que o GPT-6 Astra em mudanças pequenas e ainda teve resultado significativamente pior, e mais computação ajudou pouco nas tarefas que misturam vários tipos de mudança. Um modelo pode ser mais barato por token e mais caro por tarefa concluída.
A distância entre 69,9% e 26,4% é, para mim, o número mais importante do mês. Ela diz que um agente que "faz quase tudo" deixa, em três de cada quatro tarefas, algo para um humano terminar. Na prática de um time, isso é o que define se o agente economiza tempo ou só o desloca para a revisão. E ela é invisível em qualquer tabela que reporte acerto parcial, critério por critério, ou que use um benchmark onde todo mundo já passa de 95%. Os próprios autores listam limitações: cada tarefa tem um pedido fixo, sem perguntas de acompanhamento, e os juízes de IA podem errar. Mesmo assim, é um tipo de medição que eu queria ver nos lançamentos e não vejo.
O Custo De Operar Pesos Abertos
Pesos abertos têm vantagens reais: você controla onde os dados ficam, não depende da política de preço de um fornecedor, pode fazer fine-tuning e pode auditar o que está rodando. Já escrevi sobre isso quando o DeepSeek V4 chegou perto da fronteira no SWE-bench, e continuo achando que todo time de médio porte deveria ter pelo menos uma rota aberta avaliada. O ponto é que "aberto" não quer dizer "barato", e a conta muda com o tamanho do modelo.
No caso do Kimi K3.1 Pro, a conta começa grande. A análise do braindetox somou os 96 arquivos safetensors do repositório e chegou a cerca de 1,56 TB. Dividindo por 80 GB por GPU, só para carregar os pesos seriam algo como 20 aceleradores de 80 GB, antes de KV cache, ativações e overhead de paralelismo. É uma estimativa de piso feita por terceiros, não um requisito publicado, e o model card não dá número de GPUs. Mas a ordem de grandeza basta: isso é cluster, não workstation. E, com contexto de um milhão de tokens, o KV cache de sessões longas de agente vai pesar.
O custo não é só hardware. Há a operação: atualizar motor de inferência, acompanhar versões de vLLM ou SGLang que suportam a arquitetura nova de atenção, monitorar latência e fila, lidar com falha de nó no meio de uma sessão de agente. Há a engenharia de capacidade: um agente de código tem picos durante o horário de trabalho e ociosidade à noite, e GPU reservada cobra nas duas. Há também a licença. Segundo o braindetox, a Kimi K3.1-Pro License permite uso, modificação e fine-tuning, mas exige acordo separado com a Moonshot para quem oferece o modelo como serviço a terceiros com receita acima de US$ 20 milhões em 12 meses, e exige exibir o nome do modelo em produtos com mais de 100 milhões de usuários mensais ou mais de US$ 20 milhões de receita mensal. Para uso interno, essas cláusulas não se aplicam. Não é Apache 2.0, e quem vai construir produto em cima precisa ler o texto inteiro com o jurídico.
O Inkling 2 Small muda bastante essa conta. Com 594 bilhões de parâmetros totais, ele ainda é grande para carregar, mas os 17 bilhões ativos tornam a inferência por token muito mais leve, e a licença Apache 2.0 é a mais simples possível. A Ripple-65B, densa e de 65 bilhões, cabe em uma única máquina de trabalho, segundo o relato do AI Compass. São três perfis diferentes de custo de operação, e nenhum deles aparece na tabela de benchmark.
A comparação justa, então, não é 51,7 contra 46,3. É o custo total por tarefa concluída de cada rota. Do lado de uma API fechada, isso é preço por token vezes tokens por tentativa, dividido pela taxa de conclusão. Do lado de pesos abertos, é o custo do cluster amortizado pela utilização real, mais horas de engenharia de operação, dividido pela mesma taxa de conclusão. Se a utilização do cluster for baixa, um modelo aberto com desempenho igual pode sair mais caro por tarefa do que a API. Se for alta e constante, a conta pode virar. O ponto é que ela precisa ser feita com os números do seu time.
Como Eu Avaliaria Uma Troca De Modelo
Se eu tivesse que decidir se vale testar o K3.1 Pro ou o Inkling 2 Small como alternativa ao modelo fechado que o time usa, começaria pelo mesmo princípio do Co-Design Bench, só que no meu repositório. Pegaria entre 30 e 50 tarefas reais já resolvidas do backlog dos últimos meses, com o PR aceito como referência e os testes que vieram junto. Daria preferência às que deram trabalho, como os pesquisadores da Alibaba fizeram, porque tarefa fácil todo modelo de fronteira resolve. Já descrevi uma estrutura mais completa para isso em um post sobre como avaliar a qualidade de agentes de IA; aqui fico só no esqueleto.
Rodaria cada candidato no harness que o time de fato usa, não no que o fornecedor usou para o post. Se o time usa um agente próprio, é nele que o teste vale. A métrica principal seria binária, como no Co-Design Bench: a tarefa passou nos testes e seria aceita na revisão sem retrabalho, ou não. O percentual de critérios atendidos entra como diagnóstico, nunca como manchete. E repetiria cada tarefa ao menos três vezes, porque com temperatura 1,0 uma única execução é quase anedota.
Junto com a taxa de conclusão, mediria o custo por tarefa concluída. Discuti esse indicador em um post sobre menos tokens e custo por tarefa concluída, e ele é o que corta a armadilha do preço por token. Um esboço da conta, apenas ilustrativo e com placeholders que cada time precisa preencher:
custo_por_tarefa_concluida =
(custo_de_inferencia_total + custo_de_revisao_humana) / tarefas_concluidas
# API fechada
custo_de_inferencia_total = tokens_entrada * preco_entrada + tokens_saida * preco_saida
# pesos abertos, self-hosted
custo_de_inferencia_total = (custo_cluster_mes / tarefas_no_mes) * tarefas_rodadas
+ horas_de_operacao * custo_hora_engenharia / tarefas_no_mes * tarefas_rodadasO termo de revisão humana é o que mais se esquece e o que mais pesa. Se um modelo fecha 30% das tarefas e outro fecha 20%, o segundo gera 50% mais trabalho de limpeza, e esse trabalho é feito por gente cara. Um cenário hipotético: um time roda 200 tarefas de agente por mês; o modelo A conclui 35%, o B conclui 25%, e cada tarefa não concluída custa em média 40 minutos de um dev. A diferença é de 20 tarefas por mês, cerca de 13 horas de engenharia, o que provavelmente supera qualquer diferença de preço de token entre os dois. Os números são inventados para ilustrar a forma da conta, não para estimar o seu caso.
Por fim, deixaria a decisão aberta à reprodução de terceiros. Se em algumas semanas aparecerem execuções independentes do SWE Marathon com o K3.1 Pro e o Opus 5.5 no mesmo harness, ótimo, isso entra como evidência. Até lá, o 51,7 é um bom motivo para colocar o modelo na lista de teste, e nada além disso. Um modelo de pesos abertos que fica perto da fronteira já merece ser avaliado; ele não precisa ter "passado" ninguém para isso.
Conclusão
Reconheço o que está acontecendo: modelos de pesos abertos estão muito perto da fronteira fechada, e em algumas tarefas longas de código talvez já estejam na frente. Kimi K3.1 Pro, Inkling 2 Small e Ripple-65B, todos na mesma semana, mostram que a opção aberta é real para times que precisam de controle sobre dados, custo previsível ou fine-tuning. Fingir que essa distância ainda é grande seria tão errado quanto aceitar a manchete de que já passaram.
Mas a pergunta "passou o Opus 5.5?" não tem resposta com o que foi publicado. A linha da Moonshot foi rodada pela própria Moonshot, num harness escolhido por ela, contra números de concorrentes vindos de outro lugar, e o mesmo conjunto de números mostra o modelo bem atrás em outros testes. Enquanto isso, o único estudo do período com tarefas reais encontrou 26,4% de conclusão no melhor modelo e mostrou que o harness move o resultado em até 19 pontos. Diante disso, trato benchmark auto-reportado como material de marketing até que alguém de fora reproduza.
Não tenho uma recomendação de modelo para fazer, e desconfiaria de quem tivesse com base só nessas tabelas. O que tenho é um critério: taxa de conclusão em tarefas reais do seu repositório, no seu harness, e custo por tarefa concluída, contando operação e revisão humana. Pode ser que, medido assim, um modelo aberto vença no seu caso. Pode ser que não. A única forma de saber é parar de ler o print do grupo e montar as 30 tarefas.
Fontes:
- Moonshot AI — Introducing Kimi K3.1 Pro
- Hugging Face — moonshotai/Kimi-K3.1-Pro (model card)
- Thinking Machines — Introducing Inkling 2 Small
- The Decoder — AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test
- Let's Data Science — Co-Design Bench shows top coding agent fully solves 26.4% of tasks
- VKTR — Kimi K3.1 Pro Nears Top Proprietary Models as Moonshot Limits Its Cyber Skills
- Braindetox — Kimi K3.1 Pro Weights Released: Size, License, Memory Math
Newsletter
Receba os artigos mais relevantes da semana, sem quebrar seu ritmo de leitura
Um resumo semanal com os melhores posts sobre IA, engenharia de software e tecnologia, enviado no melhor momento para continuar a conversa depois da leitura.

Escrito por
eltonjose
Engenheiro de software e estrategista de produtos digitais, focado em IA pragmática e em transformar experiências de trabalho remoto em aprendizados aplicáveis. Compartilho frameworks e decisões reais que uso em consultorias e projetos.
- Principais temasOpen Weights, Benchmarks
- Formato do conteúdoGuia prático + insights de carreira
