Voltar à tendência do dia: Meta diz que sua IA barata iguala a da Anthropic por um terço do custo
Ranking Poly · da tendência do dia

Melhor modelo para agentes de IA em 2026: trabalho de escritório contra código

O Muse Ember conclui 68,1% dos objetivos de fluxos de escritório, contra 35,4% do Claude Haiku 5.5. Mesmo assim, os patches do Haiku passam mais vezes nos testes dos mantenedores: 34,9% contra 27,2%.

  • Nº 1: Meta Muse Ember
  • 10 posições

01Lista final

As IAs líderes montaram cada uma a sua lista de dez, de forma independente. Aqui está um resultado fácil de conferir: cada posição tem um motivo, uma fonte e a lista das IAs que a incluíram.

Ordem: da maior para a menor concordância entre as IA.

Uma etiqueta forte significa que essa IA pôs o item na sua lista. Uma esmaecida, que não pôs.

  1. 1

    Meta Muse Ember

    Dê a ele as etapas de escritório: conclui 68,1% dos objetivos de fluxo de trabalho, contra 35,4% do Haiku. Mantenha-o longe da aprovação final do código, onde tem 27,2% contra 34,9% do Haiku.

    Incluíram: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek, Qwen. Não incluíram: Gemini, Wenxin.

    Nas listas delas: Claude: 1 · ChatGPT: 1 · Meta: 5 · Grok: 1 · Z.ai: 3 · Kimi: 2 · DeepSeek: 1 · Qwen: 2

    O que cada IA notou 8
    • Claudeposição 1

      Vence no trabalho de escritório com 37,8% no AutomationBench-AA (Haiku 13,9%), mas perde em código: 27,2% contra 34,9% no FrontierCode 2.0.

      Fonte ↗
    • ChatGPTposição 1

      O especialista em escritório: 68,1% de conclusão dos objetivos do fluxo, mas só 27,2% na avaliação de código voltada à aceitação.

      Fonte ↗
    • Metaposição 5

      Terminal em primeiro: 40,9% no Terminal-Bench na tabela da Meta, 27,2% no FrontierCode-AA — nota de escritório não encontrada na lista de 24 modelos do AutomationBench da AA.

      Fonte ↗
    • Grokposição 1

      Dê a ele os passos de escritório: 68,1% dos objetivos do fluxo, e depois mantenha-o longe da aprovação final.

      Fonte ↗
    • Z.aiposição 3

      A divisão escritório-código em um único modelo: 68,1% no teste de fluxo da AA (o teste mais rigoroso da própria Meta diz 37,8), uma vitória sobre o Haiku no terminal, 40,9% contra 32,8%, e uma derrota para o Haiku em código pronto para aprovação, 27,2% contra 34,9%.

      Fonte ↗
    • Kimiposição 2

      Conclui 37,8% dos fluxos de escritório — 2,7x a taxa do Haiku —, mas o teste de aprovação do mantenedor inverte: 27,2% contra 34,9% do Haiku.

      Fonte ↗
    • DeepSeekposição 1

      O único modelo barato que é ao mesmo tempo de topo em fluxos de negócio (37,8% estrito) e competitivo em trabalho de terminal (40,9%), embora só 27,2% dos seus patches de código fossem aceitos.

      Fonte ↗
    • Qwenposição 2

      Feito especificamente para as chamadas de API repetitivas e para o roteamento que os agentes fazem o dia inteiro.

      Fonte ↗
    8 IAs colocaram aqui
    Fonte ↗
  2. 2

    Claude Haiku 5.5

    O modelo barato para mexer no código: 34,9% na medição FrontierCode da Artificial Analysis, embora o próprio ranking da Cognition dê 27,7%. No trabalho de escritório, conclui só 35,4%.

    Incluíram: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek, Qwen. Não incluíram: Gemini, Wenxin.

    Nas listas delas: Claude: 2 · ChatGPT: 2 · Meta: 4 · Grok: 2 · Z.ai: 5 · Kimi: 1 · DeepSeek: 2 · Qwen: 4

    O que cada IA notou 8
    • Claudeposição 2

      A escolha para código: a melhor nota no FrontierCode 2.0 do grupo pequeno (34,9%), mas conclui só 13,9% dos fluxos de escritório.

      Fonte ↗
    • ChatGPTposição 2

      Perde a disputa de fluxos de escritório para o Ember, mas o supera em 7,7 pontos na comparação relatada do FrontierCode.

      Fonte ↗
    • Metaposição 4

      O líder barato em código: 27,7% no FrontierCode 2.0 e 36% no terminal, mas só 35,4% em fluxos de escritório.

      Fonte ↗
    • Grokposição 2

      O modelo barato que deve mexer no código: 34,9% prontos para aprovação, 13,9% em critério estrito no teste de escritório.

      Fonte ↗
    • Z.aiposição 5

      O que deixa mexer no código: 34,9% dos patches passam nos testes dos mantenedores no FrontierCode 2.0, cerca de dez pontos acima de todos os concorrentes baratos — enquanto sua nota de escritório (35,4%) é a mais fraca daqui.

      Fonte ↗
    • Kimiposição 1

      O único modelo pequeno que vence na coluna de código — 34,9% no FrontierCode 2.0 bate o Muse Ember em 7,7 pontos — e ainda leva 39,2% no Terminal-Bench.

      Fonte ↗
    • DeepSeekposição 2

      O codificador de aprovação da classe barata: 34,9% no FrontierCode 2.0, mas só 13,9% estrito em fluxos de escritório — corrige o código e ignora a planilha.

      Fonte ↗
    • Qwenposição 4

      As salvaguardas de segurança da Anthropic impedem que ele viole regras de fluxos SaaS.

    8 IAs colocaram aqui
    Fonte ↗
  3. 3

    DeepSeek V4.1 Flash

    Forte no trabalho de escritório, com 66,6%, mas só 19,3% no ranking de código da Cognition. Sua nota no terminal cai de 42,3%, informada por ele mesmo, para 31,82% na medição da Vals.

    Incluíram: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek. Não incluíram: Gemini, Wenxin, Qwen.

    Nas listas delas: Claude: 4 · ChatGPT: 5 · Meta: 8 · Grok: 5 · Z.ai: 4 · Kimi: 4 · DeepSeek: 3

    O que cada IA notou 7
    • Claudeposição 4

      O melhor programador de sessões longas do grupo da Bito (71,9%), por $2,17 por execução de 20 turnos; não encontrei nota no AutomationBench-AA.

      Fonte ↗
    • ChatGPTposição 5

      Nota de inteligência de 33 e pesos abertos são atraentes, mas o FrontierCode cai para 19,3% em trabalho difícil pronto para aprovação.

      Fonte ↗
    • Metaposição 8

      Forte em terminal para o preço, com 31,82% por $0,54, fraco em código, com 19,3% — um trabalhador de shell, não um integrador de código.

    • Grokposição 5

      Na tabela Hermes, faz 36,91 por $0,26 por tarefa, ao lado dos 37,00 do Haiku por $0,49.

      Fonte ↗
    • Z.aiposição 4

      66,6% em fluxos de escritório e pesos MIT abertos para hospedagem própria — mas sua história de terminal muda conforme o ambiente de teste: 42,3% autorreportados contra 19,7% no teste independente da Vals AI.

      Fonte ↗
    • Kimiposição 4

      O codificador de custo mais baixo de verdade: 19,3% no FrontierCode 2.0 por $0,38 por rodada, com Terminal-Bench a 42,3% autorreportado / 33,8% de forma independente.

      Fonte ↗
    • DeepSeekposição 3

      O especialista em terminal: 42,3% no Terminal-Bench 4.0 e 60,5% no AutomationBench v1.0.6, mas só 28% no FrontierCode — forte em rodar comandos, mais fraco em entregar patches aceitáveis.

      Fonte ↗
    7 IAs colocaram aqui
    Fonte ↗
  4. 4

    GPT-6 Luna

    Mediano no trabalho de escritório e fraco no terminal: 53,2% dos objetivos de escritório (20,2% no critério estrito), 25,2% em código e só 16,4% das tarefas de terminal resolvidas.

    Incluíram: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek. Não incluíram: Gemini, Wenxin, Qwen.

    Nas listas delas: Claude: 6 · ChatGPT: 6 · Meta: 6 · Grok: 9 · Z.ai: 8 · Kimi: 7 · DeepSeek: 6

    O que cada IA notou 7
    • Claudeposição 6

      No meio em trabalho de escritório (20,2%) e último dos três rivais de lançamento em código (25,2%) e em tarefas de terminal (16,4%).

      Fonte ↗
    • ChatGPTposição 6

      Um auxiliar barato com 31 no Coding Agent Index, mas só 16,4% de resolução oficial de tarefas de terminal.

      Fonte ↗
    • Metaposição 6

      Equilibrado e barato: 53,2% em escritório e 21,9% em código — melhor que o Haiku em escritório, mais fraco que ele em código.

      Fonte ↗
    • Grokposição 9

      Perde no teste estrito de escritório com 20,2% e no teste de aprovação com 25,2%, com uma etiqueta igual à do Ember.

      Fonte ↗
    • Z.aiposição 8

      Sua nota de escritório quase triplica conforme quem avalia — 20,2% na tabela de tentativa única da Meta contra 53,2% na execução padrão da AA — e a aprovação fica em 23,8% no quadro da Cognition.

      Fonte ↗
    • Kimiposição 7

      A divisão escritório-sobre-código em um só modelo: forte em fluxos de negócio (AutomationBench-AA 53% em uma execução da AA, 20,2% no gráfico mais rigoroso da Meta), mas 16,4% no Terminal-Bench.

      Fonte ↗
    • DeepSeekposição 6

      Uma conta baixa por tarefa ($0,15) esconde resultados fracos de escritório e terminal: 20,2% no AutomationBench estrito, 16,4% no Terminal-Bench e 25,2% no FrontierCode.

      Fonte ↗
    7 IAs colocaram aqui
    Fonte ↗
  5. 5

    MiniMax M3.1 Flash

    A melhor nota de escritório entre os modelos baratos, 72,5%. Sua nota no terminal cai de 38,1%, informada por ele mesmo, para 25,25% na medição da Vals: use para aplicativos, não para o terminal.

    Incluíram: Claude, Meta, Grok, Z.ai, Kimi, DeepSeek. Não incluíram: ChatGPT, Gemini, Wenxin, Qwen.

    Nas listas delas: Claude: 5 · Meta: 2 · Grok: 7 · Z.ai: 2 · Kimi: 5 · DeepSeek: 5

    O que cada IA notou 6
    • Claudeposição 5

      Chega a 75,0% nas sessões de 20 turnos da Bito, quase empatado com o Haiku 5.5, mas precisa de 3 a 5 horas por execução.

      Fonte ↗
    • Metaposição 2

      72,5% dos objetivos de escritório concluídos — a melhor nota de escritório entre os modelos baratos — ao lado de 25% no terminal.

      Fonte ↗
    • Grokposição 7

      O número de terminal do lançamento, 38,1%, e o número de ambiente compartilhado, 25,25%, não são o mesmo teste.

      Fonte ↗
    • Z.aiposição 2

      72,5% dos objetivos de fluxo de escritório — atrás só do Gemini 4 Carbon entre 249 modelos —, enquanto a Vals AI cobrou apenas $0,21 por teste de terminal, a conta de tarefa concluída mais barata da classe.

      Fonte ↗
    • Kimiposição 5

      38,1% no Terminal-Bench 4.0 — 22 pontos acima do Luna no mesmo preço de saída de cerca de $0,60, sem números de escritório ou de código aceitáveis publicados ainda.

      Fonte ↗
    • DeepSeekposição 5

      O campeão de fluxos de escritório do conjunto barato, com 72,5% no AutomationBench-AA, mas só 21% no FrontierCode e 26% no Terminal-Bench — mande para ele as planilhas, não o pull request.

      Fonte ↗
    6 IAs colocaram aqui
    Fonte ↗
  6. 6

    GLM-5.3-Flash

    Um modelo de pesos abertos para a fila de escritório, com 60,4%. O código aprovável cai para 14,2% no ranking da Cognition e 17,6% na medição da Artificial Analysis.

    Incluíram: ChatGPT, Grok, Kimi, DeepSeek. Não incluíram: Claude, Meta, Gemini, Z.ai, Wenxin, Qwen.

    Nas listas delas: ChatGPT: 4 · Grok: 3 · Kimi: 6 · DeepSeek: 7

    O que cada IA notou 4
    • ChatGPTposição 4

      35,8% de resolução no terminal para um modelo Flash, mas só 14,2% no teste de código de nível de mantenedor.

      Fonte ↗
    • Grokposição 3

      Um modelo aberto para a fila de escritório, com 60,4%, e código pronto para aprovação caindo para 17,6%.

      Fonte ↗
    • Kimiposição 6

      35,8% no Terminal-Bench 4.0 por $0,36 por tarefa — o ponto de preço-desempenho em que o trabalho barato de terminal começa a ser confiável.

      Fonte ↗
    • DeepSeekposição 7

      Uma nota de 60% no AutomationBench o torna um executor de passos de escritório confiável, mas 15% no FrontierCode e 33% no Terminal-Bench o mantêm longe de trabalho em repositório.

      Fonte ↗
    4 IAs colocaram aqui
    Fonte ↗
  7. 7

    Gemini 3.8 Flash

    Conclui 59,9% dos objetivos de escritório, mas só cerca de 19% das tarefas de terminal, e a Vals cobrou US$ 8,65 por teste de terminal, a maior conta do grupo de orçamento.

    Incluíram: ChatGPT, Meta, Z.ai, DeepSeek. Não incluíram: Claude, Grok, Gemini, Kimi, Wenxin, Qwen.

    Nas listas delas: ChatGPT: 7 · Meta: 3 · Z.ai: 7 · DeepSeek: 9

    O que cada IA notou 4
    • ChatGPTposição 7

      Um assistente multimodal de 1 milhão de tokens, mas só 19,1% das tarefas oficiais de terminal foram resolvidas no ambiente de teste avaliado.

      Fonte ↗
    • Metaposição 3

      59,9% em escritório, 19,7% em terminal — a mesma divisão do MiniMax, por um custo medido por tarefa muito maior.

      Fonte ↗
    • Z.aiposição 7

      59,9% em fluxos de escritório, com entusiastas comparando-o a modelos de nível Opus — mas o mesmo modelo custou $8,65 por teste de terminal para a Vals AI, a maior conta por tarefa concluída da classe de orçamento.

      Fonte ↗
    • DeepSeekposição 9

      Nota de 60% no AutomationBench em esforço alto, mas só 19% no FrontierCode e 20% no Terminal-Bench — um lembrete de que competência de escritório não se transfere para código pronto para aprovação.

      Fonte ↗
    4 IAs colocaram aqui
    Fonte ↗
  8. 8

    Thinking Machines Inkling 2 Small

    Dizem que saltou para 46% no trabalho de escritório, a partir de uma única fonte, com código em 22,6% a 25%. Resolve só 12,63% das tarefas de terminal.

    Incluíram: Claude, ChatGPT. Não incluíram: Meta, Grok, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen.

    Nas listas delas: Claude: 3 · ChatGPT: 8

    O que cada IA notou 2
    • Claudeposição 3

      Segundo o relatado, saltou de 5% para 46% no AutomationBench-AA em relação ao antecessor, enquanto o Terminal-Bench 4.0 fica em cerca de 13%.

      Fonte ↗
    • ChatGPTposição 8

      Sua nota de 22,6% no FrontierCode é respeitável, mas uma tarefa do índice de $1,18 e a conclusão lenta enfraquecem a economia de agentes.

      Fonte ↗
    2 IAs colocaram aqui
    Fonte ↗
  9. 9

    Qwen3.8 Flash

    Sua nota de escritório, 55,9%, fica 30 pontos acima da nota de terminal, 25,3%, na mesma página da Artificial Analysis. Só uma fonte informa esses números.

    Incluíram: Grok. Não incluíram: Claude, ChatGPT, Meta, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen.

    Nas listas delas: Grok: 4

    O que cada IA notou 1
    • Grokposição 4

      Trabalho de escritório com 55,9% fica 30 pontos acima da nota de terminal na mesma ficha.

      Fonte ↗
    1 IAs colocaram aqui
    Fonte ↗
  10. 10

    Qwen3.8-27B

    Especialista em trabalho na tela do computador, não em terminal: 84,3% no OSWorld-Verified, mas só 5,1% no Terminal-Bench 4.0, com 48,2% no trabalho de escritório. Só uma fonte informa esses números.

    Incluíram: Z.ai. Não incluíram: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek, Wenxin, Qwen.

    Nas listas delas: Z.ai: 9

    O que cada IA notou 1
    • Z.aiposição 9

      O especialista em interface gráfica da faixa pequena: 84,3% no OSWorld-Verified (quarto no geral) contra 5,1% no Terminal-Bench 4.0 — aplicativos de desktop sim, terminais em contêiner não.

      Fonte ↗
    1 IAs colocaram aqui
    Fonte ↗

Mais sobre os três primeiros ↓

02Mais sobre os três primeiros

O ranking está acima. Aqui há mais sobre os três primeiros lugares: o que são, por que estão aqui e o que vale saber.

Os três são comparados em testes diferentes: os 68,1% do Ember e os 66,6% do DeepSeek vêm de execuções de fluxos de trabalho de escritório, e os 35,4% do Haiku vêm da mesma medição de escritório. As notas de código e de terminal vêm de outros benchmarks, e algumas são autodeclaradas ou vêm de inde

1Meta Muse Ember

Nº 1 — Meta Muse Ember. Nas listas de 8 de 10 IAs; posição mediana ali: 1.5. As IAs colocam Ember em primeiro porque conclui muito mais etapas de fluxos de escritório que o Haiku, mesmo perdendo em código pronto para ser integrado.

Você sabia?

  • O Meta Muse Ember é o menor modelo da família Muse da Meta. Ele foi feito para rodar junto com um planejador maior, o Muse Wonder. A frase da Meta: "O Muse Wonder planeja, o Muse Ember cuida do volume." Os pesos dele são mantidos em sigilo.

    Fonte ↗ ✓ confirmado por várias IAs
O que é
O menor e mais barato modelo Muse da Meta, feito para tarefas pequenas e repetidas de agentes.
Seu diferencial
Conclui 68,1% dos objetivos de fluxos de escritório, bem acima dos 35,4% do Haiku.
Para quem
Serve para trabalho de agente em estilo escritório; não serve para código que precisa ser integrado.
  • Objetivos concluídos em fluxos de escritório68,1% dos objetivos de escritório
Por que está aqui

  • No teste longo de fluxos de trabalho na área de trabalho da Meta (OSWorld 2.1), o Ember tem 69,5% de crédito parcial. O Claude Haiku 5.5 tem 68,9%. É quase um empate, então a vantagem do Ember em trabalho de escritório é pequena nessa medida.

    Fonte ↗

  • Nas tarefas totalmente concluídas, o Ember termina 33,8% contra 27,8% da Haiku, segundo a The New Stack. A vantagem aparece quando você conta só as tarefas feitas do início ao fim.

    Fonte ↗
Você sabia?

  • O Ember custa US$ 0,10 por milhão de tokens de entrada e US$ 0,50 por milhão de tokens de saída. Mesmo assim, tem janela de contexto de 1 milhão de tokens e aceita imagens como entrada. É o quarto modelo Muse, depois do Spark, do Glimmer e do Wonder.

    Fonte ↗
Para ter em mente

  • O Ember foi lançado em 9 de novembro de 2026 como um modelo menor e mais barato, então a cobertura até agora se apoia nos testes da própria Meta. Ainda não encontrei avaliações independentes de usuários. Trate as primeiras notas como afirmações do fabricante.

    Fonte ↗
Onde saber mais

  • Abra o blog e teste o Muse Ember pelo botão 'Try Muse'. Olhe primeiro o gráfico 'Intelligence vs. Cost Per Task', logo depois da introdução. Esses números são da própria Meta, então confira-os com testes independentes.

    Fonte ↗
Comparar os três primeiros ↓

2Claude Haiku 5.5

Nº 2 — Claude Haiku 5.5. Nas listas de 8 de 10 IAs; posição mediana ali: 2. As IAs colocam o Haiku em segundo como o modelo barato em que se pode confiar para código, porque mais das suas correções passam nos testes dos mantenedores, apesar das notas mais fracas em escritório.

O que é
Modelo pequeno e de baixo custo da família Claude 5.5, da Anthropic.
Seu diferencial
Suas correções de código passam nos testes dos mantenedores com mais frequência: 34,9% contra 27,2% do Ember.
Para quem
Serve para correções de código; não é a melhor escolha para fluxos de escritório.
  • Objetivos concluídos em fluxos de escritório35,4% dos objetivos de escritório

Wikidata

Por que está aqui

  • A página de resultados da Meta registra o Claude Haiku 5.5 com 68,9% de crédito parcial nos fluxos de trabalho do OSWorld 2.1, no estilo escritório. O Ember tem 69,5%, então a Haiku fica logo atrás nas tarefas de área de trabalho.

    Fonte ↗

  • O mesmo teste conta a conclusão total à parte. A Haiku termina 27,8% das tarefas por completo, contra 33,8% do Ember. Parte do lugar dela vem de pontos fortes em outras áreas, como código.

    Fonte ↗
Kimi o colocaram em primeiro. O que viram nele

  • Kimi: O único modelo pequeno que vence na coluna de código — 34,9% no FrontierCode 2.0 bate o Muse Ember em 7,7 pontos — e ainda leva 39,2% no Terminal-Bench.

Vídeo: Claude Haiku vs Sonnet vs Opus vs Fable Clearly Explained (& use cases) (em inglês) · Eliot Prince

Comparar os três primeiros ↓

3DeepSeek V4.1 Flash

Nº 3 — DeepSeek V4.1 Flash. Nas listas de 7 de 10 IAs; posição mediana ali: 4. As IAs colocam o DeepSeek em terceiro porque a nota em escritório é forte, mas a de código é fraca e os resultados no terminal variam conforme o teste.

O que é
Modelo Flash, barato, da DeepSeek, com pesos abertos, que agora também atende os pedidos do modelo Pro.
Seu diferencial
Perto do Ember em trabalho de escritório, com 66,6%, e mais barato por tarefa que o Haiku.
Para quem
Serve para rodar em servidor próprio e tarefas de terminal; não serve para código pronto para ser integrado.
  • Objetivos concluídos em fluxos de escritório66,6% em fluxos de escritório
Por que está aqui

  • Na rodada independente do Terminal-Bench 4.0 da Vals, a versão DeepSeek V4.1 Flash 1017 tem 31,82%. O GPT-6.1 Sol tem 55,05% na mesma página, então a distância para o líder é grande.

    Fonte ↗
História

  • Em 14 de setembro de 2026, a DeepSeek passou a enviar todas as solicitações do seu modelo principal V4-Pro para o mais barato V4.1-Flash, repassando a economia aos clientes. O Flash tinha sido lançado quatro dias antes, em 10 de setembro.

    Fonte ↗ ✓ confirmado por várias IAs
Para ter em mente

  • A DeepSeek diz que todas as solicitações ao modelo Pro agora vão para o V4.1 Flash e são cobradas pelo preço do Flash. Comentaristas do Hacker News acham preocupante a troca silenciosa de modelos, e um usuário relata que o Flash falha em ferramentas de programação, com loops e chamadas de ferramenta inválidas.

    Fonte ↗
Onde saber mais

  • Abra a ficha do modelo no Hugging Face. Comece pela seção 'Performance across agent scaffolds', que cobre os testes de tarefas de terminal. A página também informa 552 bilhões de parâmetros, enquanto os metadados do Hub dizem 763 bilhões, então leia os números com cuidado.

    Fonte ↗
Comparar os três primeiros ↓

Os três primeiros lado a lado

Meta Muse EmberClaude Haiku 5.5DeepSeek V4.1 Flash
Nas listas das IAs8 / 108 / 107 / 10
Objetivos concluídos em fluxos de escritório68,1% dos objetivos de escritório35,4% dos objetivos de escritório66,6% em fluxos de escritório
Primeiro paraClaude, ChatGPT, Grok, DeepSeekKimi—

Posições com o mesmo número de IAs são ordenadas pela posição média nas listas das IAs.

Mais rankings

03Vale a pena saber

O que as IAs perceberam ao montar a lista.

O líder de escritório não é o líder de código. O Ember supera o Haiku 5.5 nos fluxos concluídos (68,1% contra 35,4%) e perde no código pronto para ser aceito (27,2% contra 34,9%). Os dois resultados são medições da Artificial Analysis.

Perceberam:
Incluíram: Claude, ChatGPT, Grok, Z.ai, Kimi, DeepSeek. Não incluíram: Meta, Gemini, Wenxin, Qwen.
Fonte ↗

O AutomationBench tem dois cortes. Os 68,1% contam objetivos concluídos, enquanto os 37,8% da Meta contam um fluxo só se estiver totalmente pronto na primeira tentativa. O Haiku cai de 35,4% para 13,9% do mesmo jeito, então os dois cortes não podem ser misturados.

Perceberam:
Incluíram: Claude, ChatGPT, Grok, Z.ai, DeepSeek. Não incluíram: Meta, Gemini, Kimi, Wenxin, Qwen.
Fonte ↗

As tabelas dos fabricantes trazem o número mais alto. A DeepSeek informa 42,3% no Terminal-Bench contra 31,82% da Vals, e a MiniMax informa 38,1% contra 25,25%.

Perceberam:
Incluíram: Grok, Z.ai, Kimi. Não incluíram: Claude, ChatGPT, Meta, Gemini, DeepSeek, Wenxin, Qwen.
Fonte ↗

O ambiente de teste faz parte da nota. O resultado do Haiku no Terminal-Bench é 39,2% pela Anthropic, 36,36% pela Vals e 32,8% pela Artificial Analysis, nas mesmas 66 tarefas.

Perceberam:
Incluíram: Meta, Grok, Z.ai, Kimi. Não incluíram: Claude, ChatGPT, Gemini, DeepSeek, Wenxin, Qwen.
Fonte ↗

A nota principal do FrontierCode 2.0 é uma rubrica ponderada com critérios bloqueantes, e não apenas a parcela de patches que passam nos testes. O Haiku tem 34,9% na medição da Artificial Analysis e 27,7% no ranking próprio da Cognition.

Perceberam:
Incluíram: ChatGPT, Meta, Grok, Z.ai. Não incluíram: Claude, Gemini, Kimi, DeepSeek, Wenxin, Qwen.
Fonte ↗

04O que as pessoas perguntam

Qual é o melhor modelo para um agente de IA?

Depende do trabalho. O Muse Ember é a escolha para etapas de escritório (68,1% dos objetivos do AutomationBench), e o Claude Haiku 5.5 para código que precisa passar nos testes dos mantenedores (34,9% no FrontierCode 2.0).

Fonte ↗
Modelos de IA e agentes de IA: qual é a diferença?

Um modelo gera o próximo passo; um agente o envolve em ferramentas e em um ciclo. Por isso o Terminal-Bench 4.0 avalia pares de modelo e agente em 66 tarefas, e a nota do mesmo modelo muda conforme o ambiente de teste.

Qual é o melhor modelo de IA para o Hermes Agent?

No instantâneo do Hermes Index, o Haiku 5.5 tem 37,00 a cerca de US$ 0,49 por tarefa, e o DeepSeek V4.1 Flash tem 36,91 a cerca de US$ 0,26. O Ember não aparece na lista.

Fonte ↗
Por que as notas de fluxo de escritório diferem tanto entre as fontes?

A Artificial Analysis conta objetivos concluídos (Ember 68,1%), enquanto o gráfico da Meta usa pontuação estrita em uma única tentativa (Ember 37,8%; Luna 20,2% contra 53,2%).

Fonte ↗

05Como contamos

Em palavras simples, sem fórmulas.

1A pergunta

Top 10 IAs pequenas para agentes: fluxos de escritório contra código que um mantenedor aprovaria

2Por que este tema

Três publicadores independentes medem três tipos diferentes de trabalho de agente, então o leitor entende que 'supera o Haiku' depende do trabalho, algo que nenhum ranking único mostra.

3Onde se aplica

Modelos globais, pequenos e de preço baixo, usados em agentes

4O que analisamos

  • Parcela dos objetivos de fluxos de negócio concluídos dentro de aplicativos de escritório simulados
  • Parcela dos patches de código que passam nos testes escritos por mantenedores reais de repositórios
  • Parcela das tarefas reais de terminal que um par de modelo e agente resolve
  • Quanto cada nota varia entre a tabela do fabricante e uma medição independente
  • Artificial Analysis AutomationBench-AA — Parcela dos objetivos de fluxos de negócio concluídos em aplicativos simulados (Gmail, Slack, Salesforce e outros). A nota no nível do objetivo e a nota estrita pass@1 d
  • Cognition FrontierCode 2.0 (e a medição própria da Artificial Analysis) — Se patches escritos a partir de especificações informais passam nos testes e rubricas dos mantenedores, em 132 tarefas
  • Laude Institute e Harbor Terminal-Bench 4.0 — Parcela das 66 tarefas de terminal em contêineres que um par de modelo e agente resolve
  • Vals AI Terminal-Bench 4.0 — As mesmas 66 tarefas rodadas em um ambiente de teste compartilhado, usado como checagem externa das tabelas dos fabricantes

5Quem classificou

As IAs líderes: Claude, ChatGPT, Meta, Grok, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen. Cada uma montou sua própria lista de dez de forma independente e indicou uma fonte para cada posição.

6Como as posições foram definidas

O mesmo item escrito de formas diferentes por IAs diferentes foi contado como um só. Quanto mais IAs o colocaram na lista, e quanto mais alto, mais alta a posição. "Acordo das IAs" mostra quantas IAs tinham o item na própria lista. As fontes são apenas as que as próprias IAs encontraram; nada foi acrescentado à mão.

06A lista de cada IA

🇺🇸 Claude10 posições · 3 notas

A mesma pergunta, respondida só por Claude. A lista final acima combina todas as IAs.

  1. 1
    Meta Muse Ember (2026)

    Vence no trabalho de escritório com 37,8% no AutomationBench-AA (Haiku 13,9%), mas perde em código: 27,2% contra 34,9% no FrontierCode 2.0.

    Fonte ↗
  2. 2
    Claude Haiku 5.5

    A escolha para código: a melhor nota no FrontierCode 2.0 do grupo pequeno (34,9%), mas conclui só 13,9% dos fluxos de escritório.

    Fonte ↗
  3. 3
    Inkling 2 Small (Thinking Machines)

    Segundo o relatado, saltou de 5% para 46% no AutomationBench-AA em relação ao antecessor, enquanto o Terminal-Bench 4.0 fica em cerca de 13%.

    Fonte ↗
  4. 4
    DeepSeek V4.1 Flash

    O melhor programador de sessões longas do grupo da Bito (71,9%), por $2,17 por execução de 20 turnos; não encontrei nota no AutomationBench-AA.

    Fonte ↗
  5. 5
    MiniMax M3.1 Flash

    Chega a 75,0% nas sessões de 20 turnos da Bito, quase empatado com o Haiku 5.5, mas precisa de 3 a 5 horas por execução.

    Fonte ↗
  6. 6
    GPT-6 Luna

    No meio em trabalho de escritório (20,2%) e último dos três rivais de lançamento em código (25,2%) e em tarefas de terminal (16,4%).

    Fonte ↗
  7. 7
    Muse Spark 1.3 (Meta)

    Faz 37 no índice, mas a conta é de $2,39 por tarefa, e não encontrei divisão de fluxos de trabalho nem de código para ele.

    Fonte ↗
  8. 8
    Kimi K3.1 Pro

    Nota de código de 64,9% nos testes da Bito, mas a $29,32 por execução de 20 turnos não é a escolha barata.

    Fonte ↗
  9. 9
    GLM-5.3 (Zhipu AI)

    60,1% geral nas sessões de código da Bito a $20,28 por execução de 20 turnos; não encontrei nota de fluxos de escritório.

    Fonte ↗
  10. 10
    Claude Sonnet 5.5 (referência de preço intermediário)

    Não é um modelo pequeno, mas a nota de 30% no Terminal-Bench 4.0 (esforço médio) mostra os 13% do Inkling em contexto.

    Fonte ↗

O que Claude percebeu

O Ember e o Haiku 5.5 trocam de posição conforme o tipo de tarefa: o Ember tem 37,8% contra 13,9% no AutomationBench-AA, enquanto o Haiku tem 34,9% contra 27,2% no FrontierCode 2.0. Ambos são testes da Artificial Analysis.

Fonte ↗

O AutomationBench-AA tem duas leituras: 37,8% conta um fluxo só se estiver totalmente concluído na primeira tentativa, e 68,1% conta objetivos concluídos.

Fonte ↗

No Coding Agent Index da Artificial Analysis, o Ember faz 46 contra 37 do Haiku, então a derrota no FrontierCode não se repete em toda medida de código.

Fonte ↗
🇺🇸 ChatGPT10 posições · 3 notas

A mesma pergunta, respondida só por ChatGPT. A lista final acima combina todas as IAs.

  1. 1
    Meta Muse Ember (2026)

    O especialista em escritório: 68,1% de conclusão dos objetivos do fluxo, mas só 27,2% na avaliação de código voltada à aceitação.

    Fonte ↗
  2. 2
    Claude Haiku 5.5 (2026)

    Perde a disputa de fluxos de escritório para o Ember, mas o supera em 7,7 pontos na comparação relatada do FrontierCode.

    Fonte ↗
  3. 3
    OpenAI GPT-6.1 Sol (2026)

    Sua nota de 39,0% no FrontierCode e a resolução oficial de 58,2% no terminal justificam escalar correções difíceis para um modelo mais forte.

    Fonte ↗
  4. 4
    Zhipu AI GLM-5.3-Flash (2026)

    35,8% de resolução no terminal para um modelo Flash, mas só 14,2% no teste de código de nível de mantenedor.

    Fonte ↗
  5. 5
    DeepSeek V4.1 Flash 1017 (2026)

    Nota de inteligência de 33 e pesos abertos são atraentes, mas o FrontierCode cai para 19,3% em trabalho difícil pronto para aprovação.

    Fonte ↗
  6. 6
    OpenAI GPT-6 Luna (2026)

    Um auxiliar barato com 31 no Coding Agent Index, mas só 16,4% de resolução oficial de tarefas de terminal.

    Fonte ↗
  7. 7
    Google Gemini 3.8 Flash (2026)

    Um assistente multimodal de 1 milhão de tokens, mas só 19,1% das tarefas oficiais de terminal foram resolvidas no ambiente de teste avaliado.

    Fonte ↗
  8. 8
    Thinking Machines Inkling 2 Small (2026)

    Sua nota de 22,6% no FrontierCode é respeitável, mas uma tarefa do índice de $1,18 e a conclusão lenta enfraquecem a economia de agentes.

    Fonte ↗
  9. 9
    Cognition SWE-2 Flash (2026)

    Uma opção Flash voltada para código chega a 24,0% no FrontierCode, mas isso sozinho não comprova confiabilidade de agente de escritório.

    Fonte ↗
  10. 10
    Meta Muse Spark Open (2026)

    Pesos abertos e integração com agentes são úteis, mas 6,2% no FrontierCode tornam indispensável a revisão independente dos patches.

    Fonte ↗

O que ChatGPT percebeu

O Ember lidera o Haiku em fluxos de negócio, mas o Haiku lidera o Ember em aptidão para aprovação: 68,1% de conclusão de objetivos no AutomationBench para o Ember, contra 34,9% do Haiku versus 27,2% do Ember no FrontierCode-AA.

Fonte ↗

A Cognition tornou o FrontierCode 2.0 bem mais difícil: o DeepSeek V4.1 Flash caiu de 43,9% na versão 1.1 para 19,3% na versão 2.0. Isso é uma revisão do teste, não uma regressão medida do modelo.

Fonte ↗

As expectativas de um mantenedor real são mais duras que passar em testes comuns: o FrontierCode também verifica escopo, design e completude, e até modelos fortes podem deixar passar pequenas exigências de limpeza.

Fonte ↗
🇺🇸 Meta10 posições · 4 notas

A mesma pergunta, respondida só por Meta. A lista final acima combina todas as IAs.

  1. 1
    GPT-6.1 Sol (2026)

    O único modelo quase barato aqui forte nos dois lados: 64,9% em escritório, 39,0% em código pronto para aprovação por $1,03 por rodada.

    Fonte ↗
  2. 2
    MiniMax M3.1 Flash (2026)

    72,5% dos objetivos de escritório concluídos — a melhor nota de escritório entre os modelos baratos — ao lado de 25% no terminal.

    Fonte ↗
  3. 3
    Gemini 3.8 Flash (2026)

    59,9% em escritório, 19,7% em terminal — a mesma divisão do MiniMax, por um custo medido por tarefa muito maior.

    Fonte ↗
  4. 4
    Claude Haiku 5.5 (2026)

    O líder barato em código: 27,7% no FrontierCode 2.0 e 36% no terminal, mas só 35,4% em fluxos de escritório.

    Fonte ↗
  5. 5
    Muse Ember (2026)

    Terminal em primeiro: 40,9% no Terminal-Bench na tabela da Meta, 27,2% no FrontierCode-AA — nota de escritório não encontrada na lista de 24 modelos do AutomationBench da AA.

    Fonte ↗
  6. 6
    GPT-6 Luna (2026)

    Equilibrado e barato: 53,2% em escritório e 21,9% em código — melhor que o Haiku em escritório, mais fraco que ele em código.

    Fonte ↗
  7. 7
    GLM-5.3 (2026)

    62,2% em escritório, 17,8% em código — a maior diferença escritório-sobre-código entre os modelos GLM de tamanho completo.

    Fonte ↗
  8. 8
    DeepSeek V4.1 Flash 1017 (2026)

    Forte em terminal para o preço, com 31,82% por $0,54, fraco em código, com 19,3% — um trabalhador de shell, não um integrador de código.

  9. 9
    Kimi K3.1 Pro (2026)

    73,3% em escritório — nominalmente o líder de escritório — mas a queda do FrontierCode na linha K3 alerta contra lê-lo como programador.

    Fonte ↗
  10. 10
    MiMo-V2.6-Flash (2026)

    A tarefa medida mais barata daqui, a $0,13, mas não encontrei linha de AutomationBench-AA, FrontierCode 2.0 ou Terminal-Bench 4.0 nas fontes — sem prova nas duas tarefas.

    Fonte ↗

O que Meta percebeu

Escritório e código divergem: o MiniMax conclui 72,5% dos objetivos de escritório, mas só cerca de 26% das tarefas de terminal, enquanto o Haiku conclui 35,4% em escritório e 27,7% em código.

Fonte ↗

O FrontierCode 2.0 reduziu todas as notas: o Opus caiu de 54,6% para 45,5%, o Kimi K3 caiu de 60% para 17,7% — o novo teste separa as faixas em vez de deixar todos na casa dos 50.

Fonte ↗

O GPT-6.1 Sol entrega 86% da nota do Opus no FrontierCode 2.0 (39,0% contra 45,5%) com um doze avos do custo por rodada ($1,03 contra $12,82).

Fonte ↗

A nota de escritório do Haiku depende de qual AutomationBench se fala: 35,4% no AutomationBench-AA contra 12,0% no AutomationBench 1.0.6 original.

Fonte ↗
🇺🇸 Grok10 posições · 4 notas

A mesma pergunta, respondida só por Grok. A lista final acima combina todas as IAs.

  1. 1
    Muse Ember (2026)

    Dê a ele os passos de escritório: 68,1% dos objetivos do fluxo, e depois mantenha-o longe da aprovação final.

    Fonte ↗
  2. 2
    Claude Haiku 5.5

    O modelo barato que deve mexer no código: 34,9% prontos para aprovação, 13,9% em critério estrito no teste de escritório.

    Fonte ↗
  3. 3
    GLM-5.3-Flash

    Um modelo aberto para a fila de escritório, com 60,4%, e código pronto para aprovação caindo para 17,6%.

    Fonte ↗
  4. 4
    Qwen3.8 Flash

    Trabalho de escritório com 55,9% fica 30 pontos acima da nota de terminal na mesma ficha.

    Fonte ↗
  5. 5
    DeepSeek V4.1 Flash 1017

    Na tabela Hermes, faz 36,91 por $0,26 por tarefa, ao lado dos 37,00 do Haiku por $0,49.

    Fonte ↗
  6. 6
    Hy4 (Tencent)

    Empate no terminal com o Ember, 39,4%, comprado por cerca de seis vezes a conta do teste do Ember.

  7. 7
    MiniMax-M3.1-Flash

    O número de terminal do lançamento, 38,1%, e o número de ambiente compartilhado, 25,25%, não são o mesmo teste.

    Fonte ↗
  8. 8
    MiMo-V2.6-Flash

    Índice 27 por $0,13 por tarefa, com 64 minutos no relógio e uma nota de terminal do lançamento que depois saiu menor.

    Fonte ↗
  9. 9
    GPT-6 Luna

    Perde no teste estrito de escritório com 20,2% e no teste de aprovação com 25,2%, com uma etiqueta igual à do Ember.

    Fonte ↗
  10. 10
    Gemini 3.8 Flash

    Sabe mais do que automatiza: 50,5% de precisão em onisciência, a $0,75 de preço de entrada.

    Fonte ↗

O que Grok percebeu

A divisão útil está dentro de uma mesma faixa de preço. O Muse Ember lidera a taxa de fluxos de escritório que a Artificial Analysis destaca, com 68,1%, e o Claude Haiku 5.5 lidera o código pronto para aprovação, com 34,9% contra 27,2% do Ember. Um modelo deveria cuidar dos passos de escritório; o outro, mexer no patch.

Fonte ↗

O GLM-5.3-Flash mostra a mesma divisão sem um segundo fornecedor: 60,4% no AutomationBench-AA e 17,6% no FrontierCode 2.0. Liderar em fluxos concluídos pode conviver com uma derrota em código que um mantenedor aceitaria.

Fonte ↗

A nota de terminal do Haiku não é um número só. São 39,2% na ficha de lançamento, 32,8% na execução da Artificial Analysis, 36,36% na Vals AI e 13,6% no retrato do Índice Hermes. O ambiente de teste faz parte do resultado.

Fonte ↗

No retrato do Índice Hermes, o DeepSeek V4.1 Flash faz 36,91 por $0,26 por tarefa e o Haiku 5.5 faz 37,00 por $0,49. O Claude Opus 5.5 lidera com 63,31, a um custo que o espelho marca perto de $4,99. Os pontos de agente do dia a dia estão próximos. A conta não.

Fonte ↗
🇺🇸 Gemini10 posições · 1 notas

A mesma pergunta, respondida só por Gemini. A lista final acima combina todas as IAs.

  1. 1
    Anthropic Claude 3.5 Haiku

    Fica para trás na navegação de aplicativos SaaS crus (13,9%), mas domina a qualidade de código de modelos pequenos com 41,2% de aceitação por mantenedores no FrontierCode, rivalizando com os modelos topo de linha.

  2. 2
    Meta Muse Ember (2026)

    Esmaga fluxos de escritório com 37,8% — quase o triplo da nota do Haiku —, mas os mantenedores rejeitam 72% dos patches de código por tratamento descuidado de casos-limite.

    Fonte ↗
  3. 3
    Qwen 2.5 Coder 32B-Instruct

    O especialista em código de pesos abertos faz 36,6% em pull requests de mantenedores, superando todos os modelos proprietários da sua faixa de preço, exceto o Haiku.

    Fonte ↗
  4. 4
    Google Gemini 2.0 Flash

    O melhor generalista equilibrado, com 26,5% em aplicativos de escritório e 30,2% em engenharia de terminal, sem favorecer nenhum dos dois domínios.

  5. 5
    OpenAI GPT-4o mini

    Executa planilhas e CRMs de escritório padrão com confiabilidade (20,2%), mas trava em 26,0% no FrontierCode quando os mantenedores testam caminhos de código assíncronos.

    Fonte ↗
  6. 6
    DeepSeek-V3

    Resolve lógica algorítmica complexa em pull requests (32,4% no FrontierCode), mas tem dificuldade com fluxos de token OAuth e CRM simulados e confusos em suítes de escritório.

    Fonte ↗
  7. 7
    Meta Llama 3.3 70B Instruct

    Entrega 28,5% de resolução de código e 27,3% de problemas de terminal de forma equilibrada, mas a latência mais alta atrasa a execução de agentes de CLI interativos.

  8. 8
    Mistral Small 24B

    Vai bem em scripts de terminal determinísticos (24,2%) e no roteamento de ferramentas de ERP, mas cai para 21,5% em fusões de mantenedores por causa de nomes de variáveis não idiomáticos.

  9. 9
    Google Gemini 1.5 Flash

    Processa grandes despejos de caixa de entrada de escritório sem estourar limites de token, mas os mantenedores aceitam menos de 1 em cada 5 modificações de código propostas por ele.

  10. 10
    Nous Research Hermes 3 (Llama 3.1 70B)

    Ajustado especificamente para autonomia agêntica e chamadas de função, chega a 22,7% no Terminal-Bench, enquanto as taxas de fluxo de escritório ficam em torno de 14,2%.

O que Gemini percebeu

Modelos de código abertos especializados, como o Qwen 2.5 Coder 32B, superam modelos proprietários generalistas (GPT-4o mini e Gemini 1.5 Flash) em mais de 10 pontos percentuais em revisões reais de mantenedores de repositório.

Fonte ↗
🇨🇳 Z.ai10 posições · 2 notas

A mesma pergunta, respondida só por Z.ai. A lista final acima combina todas as IAs.

  1. 1
    Kimi K3.1 Pro (Moonshot AI, 2026)

    Roda o escritório (73,3% no AutomationBench-AA) e o terminal (67,2%, a melhor nota publicada no TB4.0) — mas, em código pronto para aprovação, seu antecessor Kimi K3 fez só 17,7% no quadro da Cognition.

    Fonte ↗
  2. 2
    MiniMax M3.1 Flash (MiniMax, 2026)

    72,5% dos objetivos de fluxo de escritório — atrás só do Gemini 4 Carbon entre 249 modelos —, enquanto a Vals AI cobrou apenas $0,21 por teste de terminal, a conta de tarefa concluída mais barata da classe.

    Fonte ↗
  3. 3
    Muse Ember (Meta, 2026)

    A divisão escritório-código em um único modelo: 68,1% no teste de fluxo da AA (o teste mais rigoroso da própria Meta diz 37,8), uma vitória sobre o Haiku no terminal, 40,9% contra 32,8%, e uma derrota para o Haiku em código pronto para aprovação, 27,2% contra 34,9%.

    Fonte ↗
  4. 4
    DeepSeek V4.1 Flash 1017 (DeepSeek, pesos abertos, 2026)

    66,6% em fluxos de escritório e pesos MIT abertos para hospedagem própria — mas sua história de terminal muda conforme o ambiente de teste: 42,3% autorreportados contra 19,7% no teste independente da Vals AI.

    Fonte ↗
  5. 5
    Claude Haiku 5.5 (Anthropic, 2026)

    O que deixa mexer no código: 34,9% dos patches passam nos testes dos mantenedores no FrontierCode 2.0, cerca de dez pontos acima de todos os concorrentes baratos — enquanto sua nota de escritório (35,4%) é a mais fraca daqui.

    Fonte ↗
  6. 6
    GLM-5.3 (Zhipu AI, 2026)

    O melhor da classe de orçamento no quadro de terminal da Vals AI (38,9%), somado a 62,2% em fluxos de escritório — mas a Cognition não avaliou seus patches, então a questão da aprovação segue aberta.

    Fonte ↗
  7. 7
    Gemini 3.8 Flash (Google, 2026)

    59,9% em fluxos de escritório, com entusiastas comparando-o a modelos de nível Opus — mas o mesmo modelo custou $8,65 por teste de terminal para a Vals AI, a maior conta por tarefa concluída da classe de orçamento.

    Fonte ↗
  8. 8
    GPT-6 Luna (OpenAI, 2026)

    Sua nota de escritório quase triplica conforme quem avalia — 20,2% na tabela de tentativa única da Meta contra 53,2% na execução padrão da AA — e a aprovação fica em 23,8% no quadro da Cognition.

    Fonte ↗
  9. 9
    Qwen3.8-27B (Alibaba Qwen, pesos abertos, 2026)

    O especialista em interface gráfica da faixa pequena: 84,3% no OSWorld-Verified (quarto no geral) contra 5,1% no Terminal-Bench 4.0 — aplicativos de desktop sim, terminais em contêiner não.

    Fonte ↗
  10. 10
    Kimi K3 (Moonshot AI, 2026)

    O conto de advertência: um preço de tabela de $3/$15 ainda gerou 17,7% no quadro de código pronto para aprovação da Cognition e $12,48 por teste de terminal na execução da Vals AI — uma etiqueta de preço sozinha nunca comprou confiabilidade agêntica.

    Fonte ↗

O que Z.ai percebeu

Habilidades de desktop e de terminal quase não se correlacionam na faixa pequena: o Qwen3.8-27B está em quarto no geral no OSWorld-Verified (84,3%), mas resolve 5,1% das tarefas do Terminal-Bench 4.0 — escolha conforme onde seus passos de fato rodam.

Fonte ↗

Código pronto para aprovação é brutalmente difícil em qualquer preço: até o Claude Opus 5.5, líder do FrontierCode 2.0, passa só 49,1% dos testes dos mantenedores, e nenhum modelo barato chega a 35%.

Fonte ↗
🇨🇳 Kimi10 posições · 3 notas

A mesma pergunta, respondida só por Kimi. A lista final acima combina todas as IAs.

  1. 1
    Claude Haiku 5.5 (2026)

    O único modelo pequeno que vence na coluna de código — 34,9% no FrontierCode 2.0 bate o Muse Ember em 7,7 pontos — e ainda leva 39,2% no Terminal-Bench.

    Fonte ↗
  2. 2
    Meta Muse Ember (2026)

    Conclui 37,8% dos fluxos de escritório — 2,7x a taxa do Haiku —, mas o teste de aprovação do mantenedor inverte: 27,2% contra 34,9% do Haiku.

    Fonte ↗
  3. 3
    GLM-5.3 (2026)

    Melhor nota de terminal de pesos publicados (43,4%) — um modelo aberto que supera todos os concorrentes baratos fechados na linha de comando.

    Fonte ↗
  4. 4
    DeepSeek V4.1 Flash 1017 (2026)

    O codificador de custo mais baixo de verdade: 19,3% no FrontierCode 2.0 por $0,38 por rodada, com Terminal-Bench a 42,3% autorreportado / 33,8% de forma independente.

    Fonte ↗
  5. 5
    MiniMax M3.1 Flash (2026)

    38,1% no Terminal-Bench 4.0 — 22 pontos acima do Luna no mesmo preço de saída de cerca de $0,60, sem números de escritório ou de código aceitáveis publicados ainda.

    Fonte ↗
  6. 6
    GLM-5.3-Flash (2026)

    35,8% no Terminal-Bench 4.0 por $0,36 por tarefa — o ponto de preço-desempenho em que o trabalho barato de terminal começa a ser confiável.

    Fonte ↗
  7. 7
    GPT-6 Luna (2026)

    A divisão escritório-sobre-código em um só modelo: forte em fluxos de negócio (AutomationBench-AA 53% em uma execução da AA, 20,2% no gráfico mais rigoroso da Meta), mas 16,4% no Terminal-Bench.

    Fonte ↗
  8. 8
    Gemini 3.5 Flash (2026)

    42,6% no AutomationBench-AA — a melhor nota de fluxo de escritório que qualquer modelo abaixo da fronteira registrou nesse quadro no lançamento.

    Fonte ↗
  9. 9
    MiMo-V2.6-Flash (2026)

    24,2% no Terminal-Bench 4.0 por $0,21 por tarefa — a menor taxa de acerto de terminal, mas com uma ressalva: a Vals AI encontrou que dois terços de suas tarefas de código podem vazar a resposta.

  10. 10
    Gemini 3.1 Flash-Lite (2026)

    Menos de $0,05 por tarefa de fluxo de escritório — o piso da faixa de custo do AutomationBench-AA, para passos em que uma nova tentativa não custa nada.

    Fonte ↗

O que Kimi percebeu

A divisão escritório/código é real e grande: o Muse Ember bate o Claude Haiku 5.5 em 24 pontos em fluxos de negócio (37,8 contra 13,9) e perde por 7,7 pontos em código pronto para aprovação (27,2 contra 34,9) — um modelo para a caixa de entrada, outro para o repositório.

Fonte ↗

Tabelas dos fabricantes inflam: o DeepSeek V4.1 Flash 1017 faz 42,3% no Terminal-Bench 4.0 na própria avaliação da DeepSeek, mas 33,8% quando a Artificial Analysis o roda — um desvio de 8,5 pontos em um único sentido.

Fonte ↗

Os pesos abertos fecharam a diferença no terminal, mas não a do escritório: o GLM-5.3 (43,4%) e o DeepSeek V4.1 Flash (42,3%) lideram os pesos publicados no Terminal-Bench 4.0, enquanto nenhum modelo aberto aparece perto do topo do AutomationBench-AA.

Fonte ↗
🇨🇳 DeepSeek10 posições · 2 notas

A mesma pergunta, respondida só por DeepSeek. A lista final acima combina todas as IAs.

  1. 1
    Muse Ember (Meta, 2026)

    O único modelo barato que é ao mesmo tempo de topo em fluxos de negócio (37,8% estrito) e competitivo em trabalho de terminal (40,9%), embora só 27,2% dos seus patches de código fossem aceitos.

    Fonte ↗
  2. 2
    Claude Haiku 5.5 (Anthropic, 2026)

    O codificador de aprovação da classe barata: 34,9% no FrontierCode 2.0, mas só 13,9% estrito em fluxos de escritório — corrige o código e ignora a planilha.

    Fonte ↗
  3. 3
    DeepSeek V4.1 Flash 1017 (DeepSeek, 2026)

    O especialista em terminal: 42,3% no Terminal-Bench 4.0 e 60,5% no AutomationBench v1.0.6, mas só 28% no FrontierCode — forte em rodar comandos, mais fraco em entregar patches aceitáveis.

    Fonte ↗
  4. 4
    MiMo-V2.6-Pro (Xiaomi, 2026)

    Um bom desempenho de escritório, com 59% no AutomationBench-AA e 35% no Terminal-Bench, mas sua nota de 24% no FrontierCode significa que um mantenedor provavelmente devolverá o patch.

    Fonte ↗
  5. 5
    MiniMax M3.1 Flash (MiniMax, 2026)

    O campeão de fluxos de escritório do conjunto barato, com 72,5% no AutomationBench-AA, mas só 21% no FrontierCode e 26% no Terminal-Bench — mande para ele as planilhas, não o pull request.

    Fonte ↗
  6. 6
    GPT-6 Luna (OpenAI, 2026)

    Uma conta baixa por tarefa ($0,15) esconde resultados fracos de escritório e terminal: 20,2% no AutomationBench estrito, 16,4% no Terminal-Bench e 25,2% no FrontierCode.

    Fonte ↗
  7. 7
    GLM-5.3-Flash (Zhipu AI, 2026)

    Uma nota de 60% no AutomationBench o torna um executor de passos de escritório confiável, mas 15% no FrontierCode e 33% no Terminal-Bench o mantêm longe de trabalho em repositório.

    Fonte ↗
  8. 8
    Ling 3.0 Flash (InclusionAI, 2026)

    Por cerca de $0,054 por tarefa, é o modelo mais barato capaz de escritório deste grupo, com 53% no AutomationBench, mas só 11–15% no FrontierCode e 32,4% no Terminal-Bench.

    Fonte ↗
  9. 9
    Gemini 3.8 Flash (Google, 2026)

    Nota de 60% no AutomationBench em esforço alto, mas só 19% no FrontierCode e 20% no Terminal-Bench — um lembrete de que competência de escritório não se transfere para código pronto para aprovação.

    Fonte ↗
  10. 10
    Nanbeige4.3-33B (Nanbeige, 2026)

    Um modelo pequeno de pesos abertos que supera o Qwen3.8 27B no AutomationBench (53% contra 48%), mas cai para 11% no FrontierCode — um bom auxiliar de escritório, não um candidato a aprovação de mantenedor.

    Fonte ↗

O que DeepSeek percebeu

O Muse Ember lidera a tabela barata de fluxos de escritório com 37,8% no AutomationBench estrito, mas sua nota de 27,2% no FrontierCode mostra a divisão com clareza: o modelo que conclui um processo de negócio de 30 passos não é o modelo que um mantenedor quer revisando um pull request.

Fonte ↗

O MiniMax M3.1 Flash faz 72,5% no AutomationBench-AA — mais que o Muse Ember — mas só 21% no FrontierCode. Escritório e código pronto para aprovação são habilidades realmente separadas na faixa barata.

Fonte ↗
🇨🇳 Wenxin10 posições · 1 notas

A mesma pergunta, respondida só por Wenxin. A lista final acima combina todas as IAs.

  1. 1
    Anthropic Claude Haiku 4.5 (2026)

    Lidera fluxos de escritório e passa em testes de código — o único modelo pequeno que vai bem nos dois

  2. 2
    OpenAI GPT-4o mini (2026)

    O melhor finalizador de terminal entre os modelos pequenos — mas os passos de escritório e o código pronto para aprovação ficam atrás do Haiku

    Fonte ↗
  3. 3
    Google Gemini 2.5 Flash-Lite (2026)

    O rei de fluxos de escritório da faixa barata — a taxa de aprovação de código mal muda o quadro

    Fonte ↗
  4. 4
    Meta Muse Ember (2026)

    Bom o bastante em escritório, fraco em código pronto para aprovação — o trabalho de 30 passos é o seu ponto forte

  5. 5
    DeepSeek-V3 Lite (2026)

    Os patches de código passam com mais frequência do que sua fatia de escritório — o oposto da maioria dos modelos pequenos

  6. 6
    Mistral Small 3.1 (2026)

    Modelo bilíngue de escritório sólido — a taxa de aprovação de código fica abaixo de 1 em cada 4 patches

    Fonte ↗
  7. 7
    Cohere Command R+ 08-2026 (pequeno)

    Fluxos de escritório e RAG na frente — código e terminal são questões secundárias

    Fonte ↗
  8. 8
    Qwen 3 4B (2026)

    Tarefas de terminal feitas com baixo custo — mas fluxos de escritório e aprovação de código ficam aquém

  9. 9
    Microsoft Phi-4 Mini (2026)

    O cérebro menor da lista — escritório, código e terminal, todos abaixo de 25%

  10. 10
    Stability AI Stable LM 2 1.6B (2026)

    Fluxos de escritório em 28% e código em 11% — barato, sim; pronto para agentes, não

O que Wenxin percebeu

Nenhum modelo pequeno passa de 38% nos testes de mantenedor do FrontierCode 2.0; o melhor (Haiku 4.5, com 38%) ainda reprova 6 em cada 10 patches prontos para aprovação — mostrando que 'pequeno' ainda significa 'rascunho, não aprovação'

Fonte ↗
🇨🇳 Qwen10 posições · 2 notas

A mesma pergunta, respondida só por Qwen. A lista final acima combina todas as IAs.

  1. 1
    Google Gemini 4 Argon

    Lidera os gráficos de automação SaaS, mas trava nas revisões reais de código de mantenedores.

    Fonte ↗
  2. 2
    Meta Muse Ember

    Feito especificamente para as chamadas de API repetitivas e para o roteamento que os agentes fazem o dia inteiro.

    Fonte ↗
  3. 3
    Alibaba Qwen 2.5 Coder 32B

    O rei de código aberto em tarefas de terminal e patches aprováveis.

    Fonte ↗
  4. 4
    Anthropic Claude Haiku 5.5

    As salvaguardas de segurança da Anthropic impedem que ele viole regras de fluxos SaaS.

  5. 5
    OpenAI GPT-4o-mini

    Uma reserva confiável para comandos de terminal, mas fraca em critérios complexos de aprovação.

    Fonte ↗
  6. 6
    Meta Llama 3.3 70B / 3.1 8B

    A escolha local padrão para tarefas de terminal, atrasada na orquestração SaaS.

    Fonte ↗
  7. 7
    Mistral Large 4 / Small

    Acima do peso na rubrica estrita de avaliação do FrontierCode.

    Fonte ↗
  8. 8
    Alibaba Qwen 2.5 7B

    Um assistente de escritório surpreendentemente capaz quando restrito a fluxos no estilo Zapier.

  9. 9
    DeepSeek Coder V2 / V3-Lite

    Forte em automação de terminal, mas tem dificuldade com lógica de negócio que envolve vários aplicativos.

    Fonte ↗
  10. 10
    Google Gemma 2 9B

    Seguro para tarefas leves de navegador locais, mas se confunde facilmente com especificações complexas.

O que Qwen percebeu

AutomationBench-AA e FrontierCode 2.0 medem habilidades opostas: o Gemini 4 Argon esmaga fluxos de escritório (77,5%), mas faz só 26,3% em aprovações reais de código de mantenedores.

Fonte ↗

O Terminal-Bench 4.0 favorece modelos nativos de linha de comando, onde o Qwen 2.5 Coder 32B chega a 65,2%, provando que agentes de terminal precisam de treinamento diferente dos agentes de interface gráfica.

Fonte ↗