Voltar à tendência do dia: O assistente de IA da Meta que faz tarefas por você agora fica no seu relógio
Ranking Poly · da tendência do dia

Melhor benchmark de agentes de IA 2026: top 10 agentes por dólar

Nas novas execuções independentes da Universidade de Princeton no GAIA, o Claude Opus 4.1 High gastou $562 para atingir 68,48%, enquanto o Claude Sonnet 4.5 fez 74,55% por $178.

  • Nº 1: Claude Sonnet 4.5 (HAL Generalist Agent)
  • 10 posições

01Lista final

As IAs líderes montaram cada uma a sua lista de dez, de forma independente. Aqui está um resultado fácil de conferir: cada posição tem um motivo, uma fonte e a lista das IAs que a incluíram.

Ordem: da maior para a menor concordância entre as IA.

Uma etiqueta forte significa que essa IA pôs o item na sua lista. Uma esmaecida, que não pôs.

  1. 1

    Claude Sonnet 4.5 (HAL Generalist Agent)

    Maior nota verificada no GAIA (74,55%) e maior nota no Nível 3 (65,39%) por $178,20 por execução. O HAL o marca como ótimo de Pareto. O Opus 4.1 High custa 3 vezes mais e pontua menos.

    Incluíram: Claude, ChatGPT, Kimi. Não incluíram: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    Nas listas delas: Claude: 1 · ChatGPT: 1 · Kimi: 1

    O que cada IA notou 3
    • Claudeposição 1

      A única execução a passar de 74% no geral e de 65% no nível 3, a cerca de US$ 1,45 por questão resolvida. A HAL a marca como ótimo de Pareto, ou seja, o melhor equilíbrio entre custo e acerto.

    • ChatGPTposição 1

      Resolveu quase três quartos do conjunto de validação por US$ 178,20 na execução inteira, liderando esta lista no nível 3, com 65,39%.

      Fonte ↗
    • Kimiposição 1

      Melhor precisão verificada do painel (74,55%) E a melhor nota no nível mais difícil (65,4%), por cerca de US$ 1 por tarefa.

      Fonte ↗
    3 IAs colocaram aqui
    Fonte ↗
  2. 2

    Claude 3.7 Sonnet High (HAL Generalist Agent)

    Um modelo de fevereiro de 2025 que faz 64,24% no geral e 57,69% no Nível 3 por $122,49. Supera o Opus 4.1 High mais novo no Nível 3 por cerca de um quinto do custo.

    Incluíram: Claude, ChatGPT, Kimi. Não incluíram: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    Nas listas delas: Claude: 4 · ChatGPT: 2 · Kimi: 2

    O que cada IA notou 3
    • Claudeposição 4

      Um modelo de fevereiro de 2025 ainda marca 57,69% no nível 3, à frente dos 46% do GPT-5 Medium, a cerca de US$ 1,16 por questão resolvida.

      Fonte ↗
    • ChatGPTposição 2

      Fica 10,31 pontos atrás do líder geral, mas custa cerca de 31% menos por resposta correta estimada e tem 57,69% no nível 3.

      Fonte ↗
    • Kimiposição 2

      Um modelo de fevereiro de 2025 que supera o mais novo Opus 4.1 High no nível mais difícil (57,7% contra 53,8%), por um quinto do custo.

      Fonte ↗
    3 IAs colocaram aqui
    Fonte ↗
  3. 3

    OpenAI o4-mini Low (HAL Generalist Agent)

    Ótimo de Pareto a $73,26 por execução. Empata com a execução de $562 do Opus 4.1 High no Nível 3 (53,85%), mas fica 16 pontos atrás do líder no geral.

    Incluíram: Claude, ChatGPT, Kimi. Não incluíram: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    Nas listas delas: Claude: 2 · ChatGPT: 4 · Kimi: 3

    O que cada IA notou 3
    • Claudeposição 2

      Chega a 58% no geral e a 53,85% no nível mais difícil, a cerca de US$ 0,76 por questão resolvida: a melhor combinação de preço e força no nível 3 da tabela da HAL.

      Fonte ↗
    • ChatGPTposição 4

      A resposta correta estimada mais barata entre essas dez custa cerca de US$ 0,76, embora sua nota geral fique 16,37 pontos abaixo do líder.

      Fonte ↗
    • Kimiposição 3

      Empata com uma execução do Claude Opus 4.1 High de US$ 562 no nível mais difícil (exatamente 53,85%), enquanto a execução inteira custa US$ 73,26.

      Fonte ↗
    3 IAs colocaram aqui
    Fonte ↗
  4. 4

    Claude Sonnet 4.5 High, com pensamento estendido (HAL Generalist Agent)

    O raciocínio estendido custa quase o mesmo que o Sonnet 4.5 padrão ($179,86 contra $178,20). Pontua 3,64 pontos a menos no geral e cai no Nível 3 de 65,39% para 46,15%.

    Incluíram: Claude, ChatGPT, Kimi. Não incluíram: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    Nas listas delas: Claude: 7 · ChatGPT: 6 · Kimi: 9

    O que cada IA notou 3
    • Claudeposição 7

      O raciocínio estendido custou quase o mesmo (US$ 179,86 contra US$ 178,20), mas reduziu a precisão em 3,6 pontos, e o nível 3 caiu de 65% para 46%.

      Fonte ↗
    • ChatGPTposição 6

      O modo de esforço alto custa só um pouco mais que a execução padrão do Sonnet, mas marca 3,64 pontos a menos no geral e 18,08 a menos no nível 3.

      Fonte ↗
    • Kimiposição 9

      Pagar por mais raciocínio perde terreno: 4 pontos a menos no geral e 19 a menos no nível mais difícil do que o mesmo modelo em esforço padrão, pelo mesmo preço.

      Fonte ↗
    3 IAs colocaram aqui
    Fonte ↗
  5. 5

    Claude Haiku 4.5 (HAL Generalist Agent)

    O modelo pequeno faz 61,54% no Nível 3, o segundo melhor do ranking e acima dos seus próprios 51,16% no Nível 2. Isso dá cerca de $1,41 por questão resolvida (estimativa).

    Incluíram: Claude, ChatGPT, Kimi. Não incluíram: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    Nas listas delas: Claude: 5 · ChatGPT: 3 · Kimi: 5

    O que cada IA notou 3
    • Claudeposição 5

      O modelo barato da Claude alcança 61,54% no nível 3, o que supera a própria nota de 51,16% no nível 2.

      Fonte ↗
    • ChatGPTposição 3

      Seu 61,54% no nível 3 é a segunda maior nota listada aqui, a uma estimativa de US$ 1,41 por resposta correta.

      Fonte ↗
    • Kimiposição 5

      O modelo 'pequeno' da família tem a segunda melhor nota no nível mais difícil de todo o painel: 61,5% no nível 3.

      Fonte ↗
    3 IAs colocaram aqui
    Fonte ↗
  6. 6

    GPT-5 Medium (HF Open Deep Research)

    Fica 3,41 pontos acima do mesmo modelo no agente Generalist do HAL, mas custa cerca de 3,4 vezes mais ($359,83). A estrutura do agente mexe mais no preço do que o modelo.

    Incluíram: Claude, ChatGPT, Kimi. Não incluíram: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    Nas listas delas: Claude: 10 · ChatGPT: 9 · Kimi: 7

    O que cada IA notou 3
    • Claudeposição 10

      Marca 62,8%, o que o põe em #7 na tabela da HAL, mas, com US$ 359,83, custa cerca de 3,4 vezes mais que o mesmo modelo dentro do agente generalista da HAL.

      Fonte ↗
    • ChatGPTposição 9

      Supera a execução do GPT-5 Medium do agente generalista da HAL em 3,41 pontos de precisão, mas o custo informado é cerca de 3,4 vezes maior.

      Fonte ↗
    • Kimiposição 7

      No índice v5, mais novo e em grande parte privado, termina 3 pontos atrás do líder de US$ 10,04, a US$ 1,27 por tarefa: um oitavo do preço.

      Fonte ↗
    3 IAs colocaram aqui
    Fonte ↗
  7. 7

    GPT-5 Medium (HAL Generalist Agent)

    59,39% por $104,75, cerca de $1,07 por questão resolvida (estimativa). O mesmo modelo dentro do HF Open Deep Research custa $359,83.

    Incluíram: Claude, Kimi. Não incluíram: ChatGPT, Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    Nas listas delas: Claude: 3 · Kimi: 4

    O que cada IA notou 2
    • Claudeposição 3

      Custa cerca de US$ 1,07 por questão resolvida, enquanto o mesmo modelo dentro do HF Open Deep Research custa cerca de US$ 3,47. A estrutura de execução muda o preço mais do que o modelo.

      Fonte ↗
    • Kimiposição 4

      A rota verificada mais barata acima de 59%: US$ 104,75 pela execução completa, cerca de US$ 0,63 por tarefa.

      Fonte ↗
    2 IAs colocaram aqui
    Fonte ↗
  8. 8

    OpenAI o4-mini High (HAL Generalist Agent)

    Ótimo de Pareto a $59,39 e a opção mais barata por questão resolvida entre as execuções fortes, cerca de $0,66 (estimativa). Sua nota de 46,15% no Nível 3 a deixa abaixo do o4-mini Low.

    Incluíram: Claude, Kimi. Não incluíram: ChatGPT, Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    Nas listas delas: Claude: 6 · Kimi: 6

    O que cada IA notou 2
    • Claudeposição 6

      É o mais barato por questão resolvida, a cerca de US$ 0,66, mas sua nota de 46% no nível 3 é o principal motivo de ficar abaixo do o4-mini Low.

      Fonte ↗
    • Kimiposição 6

      US$ 59,39 pagam a execução inteira das 165 tarefas — a entrada mais barata ótima de Pareto que ainda passa de 54%.

      Fonte ↗
    2 IAs colocaram aqui
    Fonte ↗
  9. 9

    Claude Opus 4.1 High (HAL Generalist Agent)

    $562,24 por 68,48%, cerca de $4,97 por questão resolvida (estimativa). Isso é cerca de 3,4 vezes o custo por questão resolvida do Sonnet 4.5, e sua precisão é menor.

    Incluíram: Claude, ChatGPT. Não incluíram: Meta, Grok, Gemini, Nova, Kimi, Wenxin, DeepSeek.

    Nas listas delas: Claude: 9 · ChatGPT: 7

    O que cada IA notou 2
    • Claudeposição 9

      Marca 68,5%, mas custa US$ 562: cerca de US$ 5 por questão resolvida e aproximadamente 3,4 vezes o custo por questão resolvida do Sonnet 4.5, com precisão menor.

      Fonte ↗
    • ChatGPTposição 7

      Fica 5,06 pontos de precisão abaixo do Sonnet 4.5 e custa mais de três vezes mais na execução completa.

      Fonte ↗
    2 IAs colocaram aqui
    Fonte ↗
  10. 10

    Gemini 2.0 Flash (HAL Generalist Agent)

    Uma execução completa do GAIA por $7,80, no ótimo de Pareto e cerca de 23 vezes mais barata que o líder. Desaba em tarefas difíceis: 11,54% no Nível 3. Só uma IA a listou.

    Incluíram: Kimi. Não incluíram: Claude, ChatGPT, Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    Nas listas delas: Kimi: 10

    O que cada IA notou 1
    • Kimiposição 10

      Uma execução completa do GAIA por US$ 7,80, 1/23 do custo do líder, mantendo 44% da precisão dele.

      Fonte ↗
    1 IAs colocaram aqui
    Fonte ↗

Mais sobre os três primeiros ↓

02Mais sobre os três primeiros

O ranking está acima. Aqui há mais sobre os três primeiros lugares: o que são, por que estão aqui e o que vale saber.

Os três vêm de uma mesma tabela do GAIA, da Universidade de Princeton, mas diferem no custo por execução e no desempenho no nível mais difícil. Por isso, a nota geral e o preço puxam em direções diferentes.

1Claude Sonnet 4.5 (HAL Generalist Agent)

Nº 1 — Claude Sonnet 4.5 (HAL Generalist Agent). Nas listas de 3 de 9 IAs; posição mediana ali: 1. Tem a melhor nota verificada no GAIA e a melhor nota no nível mais difícil, e custa bem menos que o Opus 4.1 High.

Você sabia?

  • No placar GAIA da HAL, o Claude Sonnet 4.5 sem a opção de pensar mais (74,55%) supera a própria versão "High" (70,91%). Pensar mais não significou nota melhor aqui. O Opus 4.1 High ficou em terceiro, com 68,48%.

    Fonte ↗
O que é
O Claude Sonnet 4.5, da Anthropic, executado como agente geral no teste GAIA da Universidade de Princeton.
Seu diferencial
Maior nota geral (74,55%) e maior nota no Nível 3 (65,39%) entre os três.
Para quem
Indicado para quem quer a nota mais alta; não é a execução mais barata, com US$ 178.
  • Acerto no GAIA por dólar74,55% por US$ 178,20

Wikidata

Por que está aqui

  • Fez 74,55% no geral, a maior nota do placar GAIA da HAL. — (voice only)

    Fonte ↗

  • Sua nota no Nível 3 foi 65,39%, acima dos 57,69% do Claude 3.7 Sonnet High e dos 53,85% do o4-mini Low. — (voice only)

    Fonte ↗
História

  • Em 2025, o lançamento do Sonnet 4.5 marcou um salto forte no uso de computador: a Anthropic informou 61,4% no OSWorld, contra 42,2% do Sonnet 4 quatro meses antes. O lançamento também trouxe um kit para criar agentes baseado no Claude Code. — (voice only)

    Fonte ↗
Para ter em mente

  • Os US$ 178,20 são o custo de uma única execução, e a HAL diz que os custos ignoram o cache e estão superestimados, então os preços reais podem ser menores. Só há uma execução listada, em 165 perguntas públicas.

    Fonte ↗

  • Outro usuário do Cursor disse que o modelo deixa código com erros e dá respostas erradas em algumas tarefas. É a opinião de um usuário, mas lembra que a nota máxima não garante que todo trabalho saia bem.

    Fonte ↗
O que as pessoas dizem

  • "This is very expensive model. It can end your cursor pro subscription in a couple of days." — Digital-Coder

    Fonte ↗

Vídeo: Claude Haiku vs Sonnet vs Opus vs Fable Clearly Explained (& use cases) (em inglês) · Eliot Prince

Comparar os três primeiros ↓

2Claude 3.7 Sonnet High (HAL Generalist Agent)

Nº 2 — Claude 3.7 Sonnet High (HAL Generalist Agent). Nas listas de 3 de 9 IAs; posição mediana ali: 2. Este modelo mais antigo supera o Opus 4.1 High, bem mais caro, no nível mais difícil, por cerca de um quinto do custo.

Você sabia?

  • Em fevereiro de 2025, o Claude 3.7 Sonnet jogando Pokémon Red começou a ser transmitido ao vivo na Twitch, reunindo milhares de espectadores. Ou seja, o modelo que vai bem neste teste de agentes também jogou um videogame em público.

    Fonte ↗
O que é
Claude 3.7 Sonnet, modelo de fevereiro de 2025, executado como agente geral.
Seu diferencial
Custa menos que o líder (US$ 122,49) e tem nota melhor que o o4-mini no Nível 3.
Para quem
Indicado para quem quer um meio-termo entre preço e força em tarefas difíceis.
  • Acerto no GAIA por dólar64,24% por US$ 122,49
Por que está aqui

  • Fez 64,24% no geral por US$ 122,49, contra 68,48% do Opus 4.1 High, que custou US$ 562,24. — (voice only)

    Fonte ↗

  • Sua nota no Nível 3 foi 57,69%, maior que os 53,85% do Opus 4.1 High, custando menos de um quarto: US$ 122,49 contra US$ 562,24. — (voice only)

    Fonte ↗
História

  • Em 2025, a Anthropic lançou o Claude 3.7 Sonnet junto com o Claude Code, uma prévia de pesquisa que permitia aos desenvolvedores passar tarefas de programação ao Claude pelo terminal. O lançamento do modelo também trouxe o raciocínio estendido, com as etapas visíveis passo a passo. — Anthropic

    Fonte ↗
Onde saber mais

  • Abra o placar GAIA e encontre a linha do Claude 3.7 Sonnet High em HAL Generalist Agent. Olhe primeiro a coluna do Nível 3 e depois compare o custo com a linha do Opus 4.1 High.

    Fonte ↗
Comparar os três primeiros ↓

3OpenAI o4-mini Low (HAL Generalist Agent)

Nº 3 — OpenAI o4-mini Low (HAL Generalist Agent). Nas listas de 3 de 9 IAs; posição mediana ali: 3. É a execução mais barata e iguala o Opus 4.1 High no nível mais difícil, embora fique atrás do líder no geral.

Você sabia?

  • O Sam Altman, da OpenAI, planejou no início incorporar o o4-mini ao GPT-5 em vez de lançá-lo como modelo próprio. Ele foi lançado em 16 de abril de 2025, e os usuários gratuitos o receberam em 24 de abril.

    Fonte ↗
O que é
o4-mini, da OpenAI, na configuração Low, executado como agente geral.
Seu diferencial
Menor custo dos três (US$ 73,26), e iguala o Opus 4.1 High no Nível 3.
Para quem
Indicado para quem controla o orçamento; não para quem precisa da nota geral mais alta.
  • Acerto no GAIA por dólar58,18% por US$ 73,26
Por que está aqui

  • A HAL o marca como ótimo de Pareto, ou seja, o melhor equilíbrio entre preço e resultado: fez 58,18% no geral por US$ 73,26, o menor custo entre os três. — (voice only)

    Fonte ↗

  • Sua nota no Nível 3 foi 53,85%, igual à do Opus 4.1 High, que custou US$ 562,24; o o4-mini Low custou US$ 73,26. — (voice only)

    Fonte ↗
Você sabia?

  • O o4-mini consegue trabalhar com imagens além de texto. O exemplo do artigo é analisar esboços em quadro branco durante sua "cadeia de pensamento", a etapa de raciocínio passo a passo que ele faz antes de responder.

    Fonte ↗
Para ter em mente

  • No teste PersonQA, da OpenAI, o o4-mini inventou coisas em 48% das vezes. Esse teste trata de fatos sobre pessoas, não das tarefas de agente do GAIA, mas é um motivo para conferir as respostas dele.

    Fonte ↗
Onde saber mais

  • No mesmo placar GAIA, encontre a linha do o4-mini Low em HAL Generalist Agent, marcada como ótimo de Pareto. Compare o custo e a nota do Nível 3 com a linha do Opus 4.1 High para ver a troca entre os dois.

    Fonte ↗
Comparar os três primeiros ↓

Os três primeiros lado a lado

Claude Sonnet 4.5 (HAL Generalist Agent)Claude 3.7 Sonnet High (HAL Generalist Agent)OpenAI o4-mini Low (HAL Generalist Agent)
Nas listas das IAs3 / 93 / 93 / 9
Acerto no GAIA por dólar74,55% por US$ 178,2064,24% por US$ 122,4958,18% por US$ 73,26
Primeiro paraClaude, ChatGPT, Kimi——

Posições com o mesmo número de IAs são ordenadas pela posição média nas listas das IAs.

Mais rankings

03Vale a pena saber

O que as IAs perceberam ao montar a lista.

A coroa de 94% e a nota verificada são coisas diferentes. As notas de teste do GAIA enviadas pelos próprios autores chegam a 94,35% no máximo (Keen AgenticOS V1.1), com 51 envios acima da referência humana de 92%. A melhor nova execução da própria Universidade de Princeton é 74,55%. As divisões e configurações são diferentes, então os dois números não podem ser comparados entre si.

Perceberam:
Incluíram: Claude, ChatGPT, Kimi. Não incluíram: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.
Fonte ↗

O HAL alerta que alguns custos publicados estão superestimados em exatamente o dobro, por causa de intervalos de rastreamento contados duas vezes. As linhas afetadas não foram recalculadas e não são uniformes, então qualquer posição por dólar pode mudar. O HAL também pausou a inclusão de novos modelos, então o ranking é, em grande parte, de sistemas de 2025.

Perceberam:
Incluíram: Claude, ChatGPT, Kimi. Não incluíram: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.
Fonte ↗

Mais esforço de raciocínio não trouxe mais resultados. O Sonnet 4.5 High pontuou 19 pontos a menos no Nível 3 que o Sonnet 4.5 padrão, pelo mesmo custo. O Opus 4.1 e o Opus 4 High custam mais de 3 vezes o Sonnet 4.5 e ainda pontuaram menos.

Perceberam:
Incluíram: Claude, ChatGPT, Kimi. Não incluíram: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.
Fonte ↗

A segunda fonte independente de custos é fraca. A Artificial Analysis não reexecuta o GAIA e cobra pelas tarefas tentadas no próprio índice, não pelas tarefas do GAIA resolvidas. Nesse índice, o custo por tarefa vai de $0,96 a $13,04 entre seus dez principais modelos.

Perceberam:
Incluíram: Claude, ChatGPT, Kimi. Não incluíram: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.
Fonte ↗

Um agente de exploração da Universidade da Califórnia em Berkeley fez cerca de 98% no conjunto público de validação do GAIA sem resolver nenhuma tarefa. Ele leu as respostas públicas e explorou o normalizador de respostas. As notas do GAIA da Manus, muito citadas, foram autodeclaradas e nunca foram reexecutadas de forma independente.

Perceberam:
Incluíram: Claude, Kimi. Não incluíram: ChatGPT, Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.
Fonte ↗

04Como contamos

Em palavras simples, sem fórmulas.

1A pergunta

Os 10 melhores agentes de IA que realmente concluem a tarefa, ranqueados por resultado por dólar

2Por que este tema

Cada ranking mostra precisão ou preço de uma única execução. Conferir os dois em duas fontes independentes mostra que a coroa de «melhor agente» troca de dono quando você conta o custo de cada tarefa concluída.

3Onde se aplica

agentes de IA globais, de uso geral, avaliados em benchmarks independentes de tarefas em várias etapas

4O que analisamos

  • Precisão nas tarefas do GAIA, segundo o HAL, da Universidade de Princeton
  • Custo por tarefa concluída, conferido com reexecuções independentes da Artificial Analysis
  • Confiabilidade no nível mais difícil de várias etapas, ajustada pelo grau de saturação do benchmark
  • Placar HAL GAIA da Universidade de Princeton — reexecuções, feitas pela própria Universidade de Princeton, de cada agente nas 165 perguntas públicas de validação do GAIA. Informa a precisão geral e nos Níveis 1/2/3, o custo total da API (sem contar o cache) e wh
  • HAL AI Agent Reliability Tracker — Precisão em execuções repetidas, além de consistência, robustez e previsibilidade no GAIA e no τ-bench. Não tem custo por tarefa comparável.
  • Artificial Analysis Intelligence Index v5 — Reexecuções independentes de modelos em 9 avaliações, com custo em dólar por tarefa do índice tentada. Não reexecuta o GAIA, então só pode conferir o preço, não
  • Personal Agent Bench GAIA tracker — Pontuações no conjunto de teste do GAIA enviadas pelos próprios participantes, no Hugging Face (4.116 envios até 6 de novembro de 2026). Mostra saturação. Custos e execuções não são verificados.

5Quem classificou

As IAs líderes: Claude, ChatGPT, Meta, Grok, Gemini, Nova, Kimi, Wenxin, DeepSeek. Cada uma montou sua própria lista de dez de forma independente e indicou uma fonte para cada posição.

6Como as posições foram definidas

O mesmo item escrito de formas diferentes por IAs diferentes foi contado como um só. Quanto mais IAs o colocaram na lista, e quanto mais alto, mais alta a posição. "Acordo das IAs" mostra quantas IAs tinham o item na própria lista. As fontes são apenas as que as próprias IAs encontraram; nada foi acrescentado à mão.

05A lista de cada IA

🇺🇸 Claude10 posições · 4 notas

A mesma pergunta, respondida só por Claude. A lista final acima combina todas as IAs.

  1. 1
    Claude Sonnet 4.5 on HAL Generalist Agent (GAIA, 2025 run)

    A única execução a passar de 74% no geral e de 65% no nível 3, a cerca de US$ 1,45 por questão resolvida. A HAL a marca como ótimo de Pareto, ou seja, o melhor equilíbrio entre custo e acerto.

  2. 2
    o4-mini (Low) on HAL Generalist Agent

    Chega a 58% no geral e a 53,85% no nível mais difícil, a cerca de US$ 0,76 por questão resolvida: a melhor combinação de preço e força no nível 3 da tabela da HAL.

    Fonte ↗
  3. 3
    GPT-5 Medium on HAL Generalist Agent

    Custa cerca de US$ 1,07 por questão resolvida, enquanto o mesmo modelo dentro do HF Open Deep Research custa cerca de US$ 3,47. A estrutura de execução muda o preço mais do que o modelo.

    Fonte ↗
  4. 4
    Claude 3.7 Sonnet High on HAL Generalist Agent

    Um modelo de fevereiro de 2025 ainda marca 57,69% no nível 3, à frente dos 46% do GPT-5 Medium, a cerca de US$ 1,16 por questão resolvida.

    Fonte ↗
  5. 5
    Claude Haiku 4.5 on HAL Generalist Agent

    O modelo barato da Claude alcança 61,54% no nível 3, o que supera a própria nota de 51,16% no nível 2.

    Fonte ↗
  6. 6
    o4-mini (High) on HAL Generalist Agent

    É o mais barato por questão resolvida, a cerca de US$ 0,66, mas sua nota de 46% no nível 3 é o principal motivo de ficar abaixo do o4-mini Low.

    Fonte ↗
  7. 7
    Claude Sonnet 4.5 High (extended thinking) on HAL Generalist Agent

    O raciocínio estendido custou quase o mesmo (US$ 179,86 contra US$ 178,20), mas reduziu a precisão em 3,6 pontos, e o nível 3 caiu de 65% para 46%.

    Fonte ↗
  8. 8
    GPT-4.1 on HF Open Deep Research

    É um modelo sem raciocínio, com cerca de um ano de idade, que resolve 50% das questões a cerca de US$ 1,32 cada, mas é fraco no nível 3 (34,6%).

    Fonte ↗
  9. 9
    Claude Opus 4.1 High on HAL Generalist Agent

    Marca 68,5%, mas custa US$ 562: cerca de US$ 5 por questão resolvida e aproximadamente 3,4 vezes o custo por questão resolvida do Sonnet 4.5, com precisão menor.

    Fonte ↗
  10. 10
    GPT-5 Medium on HF Open Deep Research

    Marca 62,8%, o que o põe em #7 na tabela da HAL, mas, com US$ 359,83, custa cerca de 3,4 vezes mais que o mesmo modelo dentro do agente generalista da HAL.

    Fonte ↗

O que Claude percebeu

Pontuações de conjunto de teste do GAIA enviadas pelos próprios autores já passaram a linha humana de 92. O Keen AgenticOS V1.1 lidera com 94,35, e 51 envios estão acima de 92. A melhor nova execução da própria Universidade de Princeton marca 74,55% no conjunto de validação, a cerca de US$ 178. São divisões e configurações diferentes, então os dois números não são diretamente comparáveis.

Fonte ↗

A liderança no GAIA mudou de mãos em 22 de setembro, 12 de outubro e 3 de novembro, sempre por cerca de um terço de ponto. Com os cinco primeiros a menos de um ponto uns dos outros, a tabela já não os separa. Só o nível 3 ainda mostra diferença.

Fonte ↗

Na HAL, mais raciocínio não significa resultados melhores. O Sonnet 4.5 High marca menos que o Sonnet 4.5 padrão pelo mesmo custo, e o Opus 4.1 custa cerca de 3 vezes o Sonnet 4.5 e marca menos.

Fonte ↗

O GAIA testa se um agente consegue recuperar um fato. Nada é reservado, pago ou enviado, e nada fica guardado entre as questões. O painel aponta para o Gaia2, onde o GPT-5 (high) chega a 42% de pass@1.

Fonte ↗
🇺🇸 ChatGPT10 posições · 4 notas

A mesma pergunta, respondida só por ChatGPT. A lista final acima combina todas as IAs.

  1. 1
    HAL Generalist Agent — Claude Sonnet 4.5 (September 2025)

    Resolveu quase três quartos do conjunto de validação por US$ 178,20 na execução inteira, liderando esta lista no nível 3, com 65,39%.

    Fonte ↗
  2. 2
    HAL Generalist Agent — Claude 3.7 Sonnet High (February 2025)

    Fica 10,31 pontos atrás do líder geral, mas custa cerca de 31% menos por resposta correta estimada e tem 57,69% no nível 3.

    Fonte ↗
  3. 3
    HAL Generalist Agent — Claude Haiku 4.5 (October 2025)

    Seu 61,54% no nível 3 é a segunda maior nota listada aqui, a uma estimativa de US$ 1,41 por resposta correta.

    Fonte ↗
  4. 4
    HAL Generalist Agent Pareto optimal — o4-mini Low (April 2025)

    A resposta correta estimada mais barata entre essas dez custa cerca de US$ 0,76, embora sua nota geral fique 16,37 pontos abaixo do líder.

    Fonte ↗
  5. 5
    HAL Generalist Agent — Claude 3.7 Sonnet (February 2025)

    Seu custo de execução de US$ 130,68 compra uma nota de 56,36%, próxima do Haiku em precisão geral, mas 15,39 pontos atrás no nível 3.

    Fonte ↗
  6. 6
    HAL Generalist Agent — Claude Sonnet 4.5 High (September 2025)

    O modo de esforço alto custa só um pouco mais que a execução padrão do Sonnet, mas marca 3,64 pontos a menos no geral e 18,08 a menos no nível 3.

    Fonte ↗
  7. 7
    HAL Generalist Agent — Claude Opus 4.1 High (August 2025)

    Fica 5,06 pontos de precisão abaixo do Sonnet 4.5 e custa mais de três vezes mais na execução completa.

    Fonte ↗
  8. 8
    HAL Generalist Agent — Claude Opus 4.1 (August 2025)

    Tirar a configuração High corta o custo informado da execução em cerca de US$ 80, mas a precisão cai 4,24 pontos e o nível 3 cai para 42,31%.

    Fonte ↗
  9. 9
    Hugging Face Open Deep Research — GPT-5 Medium (August 2025)

    Supera a execução do GPT-5 Medium do agente generalista da HAL em 3,41 pontos de precisão, mas o custo informado é cerca de 3,4 vezes maior.

    Fonte ↗
  10. 10
    HAL Generalist Agent — Claude Opus 4 High (May 2025)

    Custa US$ 665,89 e ainda marca menos que a configuração, muito mais barata, do Sonnet 4.5, tanto na precisão geral quanto no nível 3.

    Fonte ↗

O que ChatGPT percebeu

O líder em precisão geral não é também o líder em custo: a entrada o4-mini da HAL custa cerca de US$ 0,76 por resposta correta estimada, contra cerca de US$ 1,45 do Sonnet 4.5, mas marca 16,37 pontos a menos no geral e 11,54 a menos no nível 3.

Fonte ↗

O nível mais difícil muda o quadro: o Haiku 4.5 marca 61,54% no nível 3, acima de várias configurações mais caras, apesar de 56,36% no geral.

Fonte ↗

O aviso ao vivo da HAL diz que o painel de modelos está pausado e que alguns custos exibidos estão superestimados em 2×. A ressalva pode mudar as classificações de valor, e a HAL diz que ainda não recalculou as linhas afetadas.

Fonte ↗

O próprio guia de resultados ao vivo do GAIA destaca preocupações com saturação e alerta contra tratar a nota de um painel como medida completa da utilidade de um agente pessoal.

Fonte ↗
🇺🇸 Gemini10 posições

A mesma pergunta, respondida só por Gemini. A lista final acima combina todas as IAs.

  1. 1
    OpenHands (All-Hands AI)

    Alcança 72% de precisão no GAIA a apenas US$ 0,48 por tarefa, combinando uma estrutura de código aberto com modelos que usam cache de prompts, e supera execuções proprietárias de US$ 20 em 40 vezes na eficiência de preço.

  2. 2
    Browser Use

    Tem o perfil mais enxuto de automação na web, resolvendo fluxos de navegação no navegador por uma média de US$ 0,18 por sessão.

    Fonte ↗
  3. 3
    Manus AI

    Executa pesquisas longas, de várias horas, e fluxos de documentos em um sandbox isolado, a um custo médio diluído de US$ 0,65 por entrega concluída.

  4. 4
    H2O GPTe

    Inclui laços de extração de documentos de nível empresarial que mantêm 74,1% de precisão, com gasto de API por tarefa abaixo de cinquenta centavos.

    Fonte ↗
  5. 5
    Claude Computer Use (Anthropic)

    Estabelece o padrão de ouro em precisão na interface gráfica nos níveis 2 e 3, mas manter seu laço de inspeção visual eleva o custo de execução para US$ 2,15 por tarefa.

    Fonte ↗
  6. 6
    Microsoft Magentic-One (AutoGen)

    Coordena quatro subagentes especializados para resolver fluxos de pesquisa complexos, trocando US$ 1,90 em custos de tokens de várias rodadas por uma recuperação resiliente das tarefas.

    Fonte ↗
  7. 7
    AutoGPT (Forge Scaffold)

    Mantém uma execução de entrada ultrabarata (US$ 0,32 por tarefa), mas cai bruscamente quando dependências de longo prazo do nível 3 entram em laços infinitos de tentativas.

  8. 8
    OpenAI Operator (CUA)

    Navega por sites de consumo dinâmicos com preenchimento de formulários sem falhas, mas a cobrança pesada por tokens de visão mantém seu custo-base perto de US$ 2,40 por tarefa.

    Fonte ↗
  9. 9
    Devin (Cognition Labs)

    Domina problemas automatizados de engenharia de software, mas um ambiente de nuvem dedicado leva seu custo real de execução a US$ 6,50 a US$ 12,00 por tarefa concluída.

    Fonte ↗
  10. 10
    Shadow Harness V8 (GAIA Optimizer)

    Chega a uma pontuação de 94,0% no GAIA, no topo do Hugging Face, mas consome mais de US$ 22,00 por tarefa em tokens de raciocínio recursivo sem poda.

    Fonte ↗
🇨🇳 Kimi10 posições · 4 notas

A mesma pergunta, respondida só por Kimi. A lista final acima combina todas as IAs.

  1. 1
    Claude Sonnet 4.5 + HAL Generalist Agent (September 2025)

    Melhor precisão verificada do painel (74,55%) E a melhor nota no nível mais difícil (65,4%), por cerca de US$ 1 por tarefa.

    Fonte ↗
  2. 2
    Claude 3.7 Sonnet High + HAL Generalist Agent (February 2025)

    Um modelo de fevereiro de 2025 que supera o mais novo Opus 4.1 High no nível mais difícil (57,7% contra 53,8%), por um quinto do custo.

    Fonte ↗
  3. 3
    OpenAI o4-mini Low + HAL Generalist Agent (April 2025)

    Empata com uma execução do Claude Opus 4.1 High de US$ 562 no nível mais difícil (exatamente 53,85%), enquanto a execução inteira custa US$ 73,26.

    Fonte ↗
  4. 4
    GPT-5 Medium + HAL Generalist Agent (August 2025)

    A rota verificada mais barata acima de 59%: US$ 104,75 pela execução completa, cerca de US$ 0,63 por tarefa.

    Fonte ↗
  5. 5
    Claude Haiku 4.5 + HAL Generalist Agent (October 2025)

    O modelo 'pequeno' da família tem a segunda melhor nota no nível mais difícil de todo o painel: 61,5% no nível 3.

    Fonte ↗
  6. 6
    OpenAI o4-mini High + HAL Generalist Agent (April 2025)

    US$ 59,39 pagam a execução inteira das 165 tarefas — a entrada mais barata ótima de Pareto que ainda passa de 54%.

    Fonte ↗
  7. 7
    GPT-6.1 Sol (max) — Artificial Analysis Intelligence Index v5 cross-check

    No índice v5, mais novo e em grande parte privado, termina 3 pontos atrás do líder de US$ 10,04, a US$ 1,27 por tarefa: um oitavo do preço.

    Fonte ↗
  8. 8
    Claude Opus 5.5 (max) — Artificial Analysis Intelligence Index v5 leader

    O modelo mais inteligente do índice mais novo — e a forma mais cara de comprar um ponto, a US$ 10,04 por tarefa.

    Fonte ↗
  9. 9
    Claude Sonnet 4.5 High + HAL Generalist Agent (September 2025)

    Pagar por mais raciocínio perde terreno: 4 pontos a menos no geral e 19 a menos no nível mais difícil do que o mesmo modelo em esforço padrão, pelo mesmo preço.

    Fonte ↗
  10. 10
    Gemini 2.0 Flash + HAL Generalist Agent (February 2025)

    Uma execução completa do GAIA por US$ 7,80, 1/23 do custo do líder, mantendo 44% da precisão dele.

    Fonte ↗

O que Kimi percebeu

Dois números verdadeiros, separados por 20 pontos: o painel do GAIA no Hugging Face, com envios dos próprios autores, tem liderança com 94,35% (acima da linha humana de 92%), enquanto as novas execuções independentes da Universidade de Princeton, com agentes sob seu controle, chegam no máximo a 74,55%. A saturação no painel público é real — 51 envios já estão acima da linha humana —, por isso este ranking se apoia em novas execuções de terceiros.

Fonte ↗

A própria HAL, da Universidade de Princeton, aponta (5 de outubro de 2026) que alguns custos publicados em suas execuções estão superestimados exatamente em 2×, por trechos de rastreamento contados duas vezes. Além disso, pausou a inclusão de novos modelos, então seu painel é um retrato de sistemas em grande parte de 2025.

Fonte ↗

O que realmente varia é o custo por tarefa concluída, não o preço de tabela: entre os dez melhores modelos do Artificial Analysis v5, o mais barato (GPT-6.1 Terra) custa US$ 0,96 por tarefa e o mais caro (Claude Fable 5.1), US$ 13,04. É uma diferença de mais de 13× para diferenças de poucos pontos no índice.

Fonte ↗

Uma equipe da Universidade da Califórnia em Berkeley obteve cerca de 98% no conjunto de validação do GAIA sem resolver nenhuma tarefa, lendo o arquivo público de respostas e explorando o normalizador de respostas. É o melhor argumento para confiar em conjuntos de teste reservados e novas execuções independentes, e não em uma única tabela.

Fonte ↗