Назад к тренду дня: ИИ-помощник Meta, который делает дела за вас, теперь и на часах
Рейтинг Poly · из тренда дня

Лучший тест ИИ-агентов 2026: топ-10 агентов по соотношению цены и качества

В независимых повторных прогонах GAIA от Принстонского университета Claude Opus 4.1 High потратил $562 и набрал 68,48%, а Claude Sonnet 4.5 набрал 74,55% за $178.

  • №1: Claude Sonnet 4.5 (HAL Generalist Agent)
  • 10 мест

01Итоговый список

Ведущие ИИ независимо составили свои списки из десяти мест. Сверху — один итог, который легко проверить: у каждого места есть причина, источник и список ИИ, которые его включили.

Порядок: от большего согласия ИИ к меньшему.

Яркая плашка — этот ИИ включил пункт в свой список. Тусклая — не включил.

  1. 1

    Claude Sonnet 4.5 (HAL Generalist Agent)

    Самый высокий проверенный результат GAIA (74,55%) и самый высокий результат на уровне 3 (65,39%) за $178,20 за прогон. HAL отмечает его как оптимальный по соотношению цены и качества. Opus 4.1 High стоит в 3 раза дороже и набирает меньше.

    Включили: Claude, ChatGPT, Kimi. Не включили: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    В их списках: Claude: 1 · ChatGPT: 1 · Kimi: 1

    Что отметил каждый ИИ 3
    • Claudeместо 1

      Единственный запуск, преодолевший 74% в целом и 65% на уровне 3, при примерно $1,45 за решённый вопрос. HAL отмечает его как лучший вариант по соотношению цены и результата.

    • ChatGPTместо 1

      Он решил почти три четверти валидационной выборки за $178,20 за весь прогон и лидирует в этом списке на уровне 3 с 65,39%.

      Источник ↗
    • Kimiместо 1

      Лучшая проверенная точность в таблице (74,55%) и лучший результат на самом сложном уровне (65,4%), примерно за доллар за задачу.

      Источник ↗
    3 ИИ поставили сюда
    Источник ↗
  2. 2

    Claude 3.7 Sonnet High (HAL Generalist Agent)

    Модель от февраля 2025 года: 64,24% в общем зачёте и 57,69% на уровне 3 за $122,49. На уровне 3 она обходит более новый Opus 4.1 High, стоя примерно за пятую часть его цены.

    Включили: Claude, ChatGPT, Kimi. Не включили: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    В их списках: Claude: 4 · ChatGPT: 2 · Kimi: 2

    Что отметил каждый ИИ 3
    • Claudeместо 4

      Модель от февраля 2025 года всё ещё набирает 57,69% на уровне 3, выше 46% у GPT-5 Medium, при около $1,16 за решённый вопрос.

      Источник ↗
    • ChatGPTместо 2

      Он отстаёт от лидера на 10,31 пункта, но стоит примерно на 31% меньше за оценочно правильный ответ и получает 57,69% на уровне 3.

      Источник ↗
    • Kimiместо 2

      Модель от февраля 2025 года, которая обыгрывает более новую Opus 4.1 High на самом сложном уровне (57,7% против 53,8%) за пятую часть стоимости.

      Источник ↗
    3 ИИ поставили сюда
    Источник ↗
  3. 3

    OpenAI o4-mini Low (HAL Generalist Agent)

    Оптимален по соотношению цены и качества при $73,26 за прогон. На уровне 3 (53,85%) совпадает с прогоном Opus 4.1 High за $562, но в общем зачёте отстаёт от лидера на 16 баллов.

    Включили: Claude, ChatGPT, Kimi. Не включили: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    В их списках: Claude: 2 · ChatGPT: 4 · Kimi: 3

    Что отметил каждый ИИ 3
    • Claudeместо 2

      Он показывает 58% в целом и 53,85% на самом сложном уровне при примерно $0,76 за решённый вопрос: лучшее сочетание цены и силы на уровне 3 в таблице HAL.

      Источник ↗
    • ChatGPTместо 4

      Самый дешёвый оценочно успешный ответ среди этих десяти стоит около $0,76, хотя общий результат на 16,37 пункта ниже лидера.

      Источник ↗
    • Kimiместо 3

      Равна прогону Claude Opus 4.1 High ($562) на самом сложном уровне (ровно 53,85%), тогда как весь прогон этой модели стоит $73,26.

      Источник ↗
    3 ИИ поставили сюда
    Источник ↗
  4. 4

    Claude Sonnet 4.5 High, с расширенным мышлением (HAL Generalist Agent)

    Расширенное рассуждение стоит примерно как обычный Sonnet 4.5 ($179,86 против $178,20). В общем зачёте набирает на 3,64 балла меньше и на уровне 3 падает с 65,39% до 46,15%.

    Включили: Claude, ChatGPT, Kimi. Не включили: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    В их списках: Claude: 7 · ChatGPT: 6 · Kimi: 9

    Что отметил каждый ИИ 3
    • Claudeместо 7

      Расширенное мышление стоило почти так же ($179,86 против $178,20), но снизило точность на 3,6 пункта, а уровень 3 упал с 65% до 46%.

      Источник ↗
    • ChatGPTместо 6

      High-режим стоит лишь немного дороже обычного прогона Sonnet, но даёт на 3,64 пункта меньше в целом и на 18,08 меньше на уровне 3.

      Источник ↗
    • Kimiместо 9

      Платить за больше рассуждений значит терять: на 4 пункта ниже в целом и на 19 пунктов ниже на самом сложном уровне, чем та же модель при обычном усилии, при той же цене.

      Источник ↗
    3 ИИ поставили сюда
    Источник ↗
  5. 5

    Claude Haiku 4.5 (HAL Generalist Agent)

    Маленькая модель набирает 61,54% на уровне 3 — это второе место в таблице и выше её собственных 51,16% на уровне 2. Получается примерно $1,41 за решённый вопрос (приблизительно).

    Включили: Claude, ChatGPT, Kimi. Не включили: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    В их списках: Claude: 5 · ChatGPT: 3 · Kimi: 5

    Что отметил каждый ИИ 3
    • Claudeместо 5

      Дешёвая модель Claude получает 61,54% на уровне 3, что выше её же результата на уровне 2: 51,16%.

      Источник ↗
    • ChatGPTместо 3

      Его 61,54% на уровне 3 — второй результат в этом списке, при примерно $1,41 за оценочно правильный ответ.

      Источник ↗
    • Kimiместо 5

      «Маленькая» модель семейства показывает второй по сложности результат во всей таблице: 61,5% на уровне 3.

      Источник ↗
    3 ИИ поставили сюда
    Источник ↗
  6. 6

    GPT-5 Medium (HF Open Deep Research)

    Набирает на 3,41 балла больше той же модели в HAL Generalist agent, но стоит примерно в 3,4 раза дороже ($359,83). Обвязка агента сильнее влияет на цену, чем сама модель.

    Включили: Claude, ChatGPT, Kimi. Не включили: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    В их списках: Claude: 10 · ChatGPT: 9 · Kimi: 7

    Что отметил каждый ИИ 3
    • Claudeместо 10

      Набирает 62,8%, что даёт ему 7-е место в таблице HAL, но при $359,83 он стоит примерно в 3,4 раза дороже той же модели внутри HAL Generalist Agent.

      Источник ↗
    • ChatGPTместо 9

      Он обгоняет прогон GPT-5 Medium из HAL Generalist Agent на 3,41 пункта точности, но заявленная стоимость примерно в 3,4 раза выше.

      Источник ↗
    • Kimiместо 7

      На новом, в основном закрытом индексе v5 он отстаёт на 3 пункта от лидера за $10,04, стоя $1,27 за задачу, то есть в восемь раз дешевле.

      Источник ↗
    3 ИИ поставили сюда
    Источник ↗
  7. 7

    GPT-5 Medium (HAL Generalist Agent)

    59,39% за $104,75 — примерно $1,07 за решённый вопрос (приблизительно). Та же модель внутри HF Open Deep Research стоит $359,83.

    Включили: Claude, Kimi. Не включили: ChatGPT, Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    В их списках: Claude: 3 · Kimi: 4

    Что отметил каждый ИИ 2
    • Claudeместо 3

      Он стоит около $1,07 за решённый вопрос, тогда как та же модель внутри HF Open Deep Research стоит около $3,47. Оболочка меняет цену сильнее, чем сама модель.

      Источник ↗
    • Kimiместо 4

      Самый дешёвый проверенный путь за 59%: $104,75 за весь прогон, примерно $0,63 за задачу.

      Источник ↗
    2 ИИ поставили сюда
    Источник ↗
  8. 8

    OpenAI o4-mini High (HAL Generalist Agent)

    Оптимальна по соотношению цены и качества при $59,39 и самая дешёвая за решённый вопрос среди сильных прогонов — примерно $0,66 (приблизительно). Её оценка 46,15% на уровне 3 держит её ниже o4-mini Low.

    Включили: Claude, Kimi. Не включили: ChatGPT, Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    В их списках: Claude: 6 · Kimi: 6

    Что отметил каждый ИИ 2
    • Claudeместо 6

      Самая дешёвая за решённый вопрос, около $0,66, но её результат на уровне 3, 46%, главная причина, почему она ниже o4-mini Low.

      Источник ↗
    • Kimiместо 6

      $59,39 покупают весь прогон из 165 задач: самый дешёвый вариант по соотношению цены и результата, который всё ещё берёт 54%.

      Источник ↗
    2 ИИ поставили сюда
    Источник ↗
  9. 9

    Claude Opus 4.1 High (HAL Generalist Agent)

    $562,24 за 68,48% — примерно $4,97 за решённый вопрос (приблизительно). Это примерно в 3,4 раза дороже Sonnet 4.5 за решённый вопрос, и точность при этом ниже.

    Включили: Claude, ChatGPT. Не включили: Meta, Grok, Gemini, Nova, Kimi, Wenxin, DeepSeek.

    В их списках: Claude: 9 · ChatGPT: 7

    Что отметил каждый ИИ 2
    • Claudeместо 9

      Набирает 68,5%, но стоит $562: около $5 за решённый вопрос, примерно в 3,4 раза дороже, чем у Sonnet 4.5 за решённый вопрос, при меньшей точности.

      Источник ↗
    • ChatGPTместо 7

      Он на 5,06 пункта точности уступает Sonnet 4.5 и стоит за весь прогон больше чем втрое дороже.

      Источник ↗
    2 ИИ поставили сюда
    Источник ↗
  10. 10

    Gemini 2.0 Flash (HAL Generalist Agent)

    Полный прогон GAIA за $7,80, оптимален по соотношению цены и качества и примерно в 23 раза дешевле лидера. На сложных задачах проваливается: 11,54% на уровне 3. Её указал только один ИИ.

    Включили: Kimi. Не включили: Claude, ChatGPT, Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.

    В их списках: Kimi: 10

    Что отметил каждый ИИ 1
    • Kimiместо 10

      Полный прогон GAIA за $7,80, в 23 раза дешевле лидера, при сохранении 44% его точности.

      Источник ↗
    1 ИИ поставили сюда
    Источник ↗

Тройка подробно ↓

02Подробнее о тройке

Рейтинг выше. Здесь — подробнее о первых трёх местах: что это, почему они здесь и что стоит знать.

Все три взяты из одной таблицы GAIA Принстонского университета, но различаются стоимостью прогона и результатом на самом трудном уровне, поэтому общий балл и цена тянут в разные стороны.

1Claude Sonnet 4.5 (HAL Generalist Agent)

№ 1 — Claude Sonnet 4.5 (HAL Generalist Agent). В списках у 3 из 9 ИИ; медианное место там: 1. У неё лучший проверенный балл GAIA и лучший результат на самом трудном уровне, а стоит она заметно дешевле Opus 4.1 High.

А вы знали

  • В таблице HAL GAIA Claude Sonnet 4.5 без режима дополнительных раздумий (74,55%) опережает свою версию «High» (70,91%). Больше раздумий здесь не значило лучшего результата. Модель Opus 4.1 High заняла третье место с 68,48%.

    Источник ↗
Что это
Claude Sonnet 4.5 от Антропик, запущенная как универсальный агент в тесте GAIA Принстонского университета.
Чем сильнее
Самый высокий общий балл (74,55%) и самый высокий результат на 3-м уровне (65,39%) из трёх.
Кому подходит
Подойдёт тем, кому нужен лучший балл; но это не самый дешёвый вариант — $178.
  • Точность GAIA на доллар74,55% за $178,20

Wikidata

Почему он здесь

  • Общий балл 74,55% — самый высокий в таблице HAL GAIA. — (voice only)

    Источник ↗

  • Результат на 3-м уровне — 65,39%, выше, чем у Claude 3.7 Sonnet High (57,69%) и o4-mini Low (53,85%). — (voice only)

    Источник ↗
История

  • В 2025 году запуск Sonnet 4.5 стал резким скачком в работе с компьютером: компания Антропик сообщила о 61,4% в тесте OSWorld против 42,2% у Sonnet 4 четырьмя месяцами раньше. Релиз также представил набор для создания агентов на основе Claude Code. — (voice only)

    Источник ↗
Что важно учесть

  • $178,20 — это стоимость одного прогона, и HAL пишет, что в ней не учтено кэширование и она завышена, так что реальная цена может быть ниже. В таблице указан только один прогон, на 165 публичных вопросах.

    Источник ↗

  • Другой пользователь Cursor написал, что модель оставляет в коде ошибки и на некоторых задачах даёт неверные ответы. Это мнение одного пользователя, но оно напоминает: высокий балл не означает, что каждая работа пройдёт хорошо.

    Источник ↗
Что говорят люди

  • "This is very expensive model. It can end your cursor pro subscription in a couple of days." — Digital-Coder

    Источник ↗

Видео: Claude Haiku vs Sonnet vs Opus vs Fable Clearly Explained (& use cases) (на английском) · Eliot Prince

Сравнить первую тройку ↓

2Claude 3.7 Sonnet High (HAL Generalist Agent)

№ 2 — Claude 3.7 Sonnet High (HAL Generalist Agent). В списках у 3 из 9 ИИ; медианное место там: 2. Эта более старая модель обгоняет намного более дорогую Opus 4.1 High на самом трудном уровне, при стоимости примерно пятую часть её цены.

А вы знали

  • В феврале 2025 года Claude 3.7 Sonnet, игравший в Pokémon Red, начали транслировать на Twitch, и трансляция собрала тысячи зрителей. Так модель, которая хорошо проходит этот тест агентов, ещё и публично играла в видеоигру.

    Источник ↗
Что это
Claude 3.7 Sonnet, модель от февраля 2025 года, запущенная как универсальный агент.
Чем сильнее
Стоит дешевле лидера ($122,49) и на 3-м уровне показывает результат лучше, чем o4-mini.
Кому подходит
Подойдёт тем, кто ищет компромисс между ценой и силой в сложных задачах.
  • Точность GAIA на доллар64,24% за $122,49
Почему он здесь

  • Общий балл — 64,24% за $122,49; у Opus 4.1 High — 68,48% за $562,24. — (voice only)

    Источник ↗

  • Результат на 3-м уровне — 57,69%, выше, чем у Opus 4.1 High (53,85%), при стоимости меньше четверти: $122,49 против $562,24. — (voice only)

    Источник ↗
История

  • В 2025 году Антропик выпустила Claude 3.7 Sonnet вместе с Claude Code — ранней исследовательской версией, которая позволяла разработчикам передавать Claude задачи по программированию из терминала. Запуск модели также представил расширенное, видимое пошаговое рассуждение. — Anthropic

    Источник ↗
Где узнать больше

  • Откройте таблицу GAIA и найдите строку Claude 3.7 Sonnet High в разделе HAL Generalist Agent. Сначала посмотрите столбец 3-го уровня, затем сравните её стоимость со строкой Opus 4.1 High.

    Источник ↗
Сравнить первую тройку ↓

3OpenAI o4-mini Low (HAL Generalist Agent)

№ 3 — OpenAI o4-mini Low (HAL Generalist Agent). В списках у 3 из 9 ИИ; медианное место там: 3. Это самый дешёвый прогон: на самом трудном уровне он не уступает Opus 4.1 High, хотя по общему баллу отстаёт от лидера.

А вы знали

  • Сэм Альтман из OpenAI сначала планировал включить o4-mini в GPT-5, а не выпускать как отдельную модель. Она вышла 16 апреля 2025 года, а бесплатные пользователи получили её 24 апреля.

    Источник ↗
Что это
o4-mini от OpenAI в режиме Low, запущенная как универсальный агент.
Чем сильнее
Самая низкая стоимость из трёх ($73,26) при том же результате на 3-м уровне, что у Opus 4.1 High.
Кому подходит
Подойдёт тем, кто следит за бюджетом; не подойдёт тем, кому нужен самый высокий общий балл.
  • Точность GAIA на доллар58,18% за $73,26
Почему он здесь

  • HAL отмечает её как оптимальную по соотношению цены и результата: общий балл 58,18% за $73,26 — самая низкая цена из этих трёх. — (voice only)

    Источник ↗

  • Результат на 3-м уровне — 53,85%, как у Opus 4.1 High, которая стоила $562,24; o4-mini Low стоила $73,26. — (voice only)

    Источник ↗
А вы знали

  • o4-mini умела работать с изображениями, а не только с текстом. Пример из статьи: разбор эскизов с доски на этапе «цепочки рассуждений» — пошагового рассуждения, которое модель проводит перед ответом.

    Источник ↗
Что важно учесть

  • В тесте PersonQA от OpenAI o4-mini выдумывала сведения в 48% случаев. Этот тест про факты о людях, а не про задачи агентов GAIA, но это повод перепроверять её ответы.

    Источник ↗
Где узнать больше

  • В той же таблице GAIA найдите строку o4-mini Low в разделе HAL Generalist Agent, отмеченную как оптимальная. Сравните её стоимость и результат на 3-м уровне со строкой Opus 4.1 High, чтобы увидеть компромисс.

    Источник ↗
Сравнить первую тройку ↓

Тройка рядом

Claude Sonnet 4.5 (HAL Generalist Agent)Claude 3.7 Sonnet High (HAL Generalist Agent)OpenAI o4-mini Low (HAL Generalist Agent)
В списках ИИ3 / 93 / 93 / 9
Точность GAIA на доллар74,55% за $178,2064,24% за $122,4958,18% за $73,26
Первым поставилиClaude, ChatGPT, Kimi——

Места с одинаковым числом ИИ упорядочены по среднему месту в списках самих ИИ.

Другие рейтинги

03Стоит знать

Что заметили ИИ, пока составляли список.

Первое место с 94% и проверенный результат — разные вещи. Результаты на тестовом наборе GAIA, которые разработчики отправили сами, достигают максимума 94,35% (Keen AgenticOS V1.1), и 51 отправка набрала больше 92%, принятых за результат людей. Лучший собственный повторный прогон Принстонского университета — 74,55%. Наборы и условия различаются, поэтому эти два числа нельзя сравнивать между собой.

Заметили:
Включили: Claude, ChatGPT, Kimi. Не включили: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.
Источник ↗

HAL предупреждает, что некоторые опубликованные стоимости прогонов завышены ровно в 2 раза, потому что часть расходов посчитана дважды. Затронутые строки не пересчитаны, и ошибка в них не одинаковая, поэтому место в рейтинге по соотношению цены и качества может сдвинуться. Кроме того, HAL приостановил добавление новых моделей, поэтому в таблице в основном системы 2025 года.

Заметили:
Включили: Claude, ChatGPT, Kimi. Не включили: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.
Источник ↗

Больше усилий на рассуждение не дало лучших результатов. Sonnet 4.5 High набрал на уровне 3 на 19 баллов меньше, чем обычный Sonnet 4.5, при той же цене. Opus 4.1 и Opus 4 High стоят более чем в 3 раза дороже Sonnet 4.5 и всё равно набрали меньше.

Заметили:
Включили: Claude, ChatGPT, Kimi. Не включили: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.
Источник ↗

Второй независимый источник данных о стоимости небогат. Artificial Analysis не перепроверяет GAIA и считает цену попыток выполнить задачи в собственном индексе, а не решённых задач GAIA. В этом индексе стоимость одной задачи у его десяти лучших моделей колеблется от $0,96 до $13,04.

Заметили:
Включили: Claude, ChatGPT, Kimi. Не включили: Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.
Источник ↗

Агент Калифорнийского университета в Беркли, нашедший лазейку, набрал около 98% на открытом проверочном наборе GAIA, так и не решив ни одной задачи. Он читал открытые ответы и воспользовался программой, которая приводит ответы к единому виду. Широко цитируемые результаты Manus на GAIA сообщены самой компанией и никогда не перепроверялись независимо.

Заметили:
Включили: Claude, Kimi. Не включили: ChatGPT, Meta, Grok, Gemini, Nova, Wenxin, DeepSeek.
Источник ↗

04Как считали

Простыми словами, без формул.

1Вопрос

Топ-10 ИИ-агентов, которые действительно доводят задачу до конца, по результату за доллар

2Почему эта тема

Каждая таблица показывает точность или цену по одному прогону. Если сверить оба показателя по двум независимым источникам, видно, что титул «лучшего агента» переходит к другим, как только учитываешь стоимость каждой доведённой до конца задачи.

3Где это применимо

мировые универсальные ИИ-агенты, оценённые по независимым многошаговым тестам задач

4На что смотрели

  • Точность решения задач в GAIA, по данным HAL Принстонского университета
  • Стоимость выполненной задачи, сверенная с независимыми повторными прогонами Artificial Analysis
  • Надёжность на самом сложном многошаговом уровне с поправкой на то, насколько тест уже исчерпан
  • Таблица лидеров HAL GAIA Принстонского университета — собственные перезапуски каждого агента Принстонским университетом на 165 открытых проверочных вопросах GAIA. Показывает общую точность и точность по уровням 1/2/3, полную стоимость API (кэширование не учитывается) и wh
  • HAL AI Agent Reliability Tracker — точность при повторных запусках, а также стабильность, устойчивость и предсказуемость на GAIA и τ-bench. Сопоставимой стоимости за задачу здесь нет.
  • Artificial Analysis Intelligence Index v5 — независимые перезапуски моделей в 9 оценках, с ценой в долларах за каждую задачу индекса. GAIA он не перезапускает, поэтому может проверить только цену, а не
  • Personal Agent Bench GAIA tracker — результаты на тестовом наборе GAIA, которые участники отправили сами, с Hugging Face (4 116 отправок на 6 ноября 2026). Показывает, что тест почти исчерпан. Стоимость и запуски не проверены.

5Кто ставил места

Ведущие ИИ: Claude, ChatGPT, Meta, Grok, Gemini, Nova, Kimi, Wenxin, DeepSeek. Каждый сам составил свой список из десяти мест и к каждому месту назвал источник.

6Как сведены места

Одно и то же, названное разными ИИ по-разному, считали за одно. Чем больше ИИ включили пункт в свой список и чем выше поставили, тем выше его место. «Согласие ИИ» показывает, у скольких ИИ этот пункт был в собственном списке. Источники — только те, что нашли сами ИИ, ничего не добавлено вручную.

05Список каждого ИИ отдельно

🇺🇸 Claude10 мест · заметок: 4

Тот же вопрос, ответ одного ИИ — Claude. Итоговый список выше объединяет все ИИ.

  1. 1
    Claude Sonnet 4.5 в HAL Generalist Agent (прогон GAIA, 2025)

    Единственный запуск, преодолевший 74% в целом и 65% на уровне 3, при примерно $1,45 за решённый вопрос. HAL отмечает его как лучший вариант по соотношению цены и результата.

  2. 2
    o4-mini (Low) в HAL Generalist Agent

    Он показывает 58% в целом и 53,85% на самом сложном уровне при примерно $0,76 за решённый вопрос: лучшее сочетание цены и силы на уровне 3 в таблице HAL.

    Источник ↗
  3. 3
    GPT-5 Medium в HAL Generalist Agent

    Он стоит около $1,07 за решённый вопрос, тогда как та же модель внутри HF Open Deep Research стоит около $3,47. Оболочка меняет цену сильнее, чем сама модель.

    Источник ↗
  4. 4
    Claude 3.7 Sonnet High в HAL Generalist Agent

    Модель от февраля 2025 года всё ещё набирает 57,69% на уровне 3, выше 46% у GPT-5 Medium, при около $1,16 за решённый вопрос.

    Источник ↗
  5. 5
    Claude Haiku 4.5 в HAL Generalist Agent

    Дешёвая модель Claude получает 61,54% на уровне 3, что выше её же результата на уровне 2: 51,16%.

    Источник ↗
  6. 6
    o4-mini (High) в HAL Generalist Agent

    Самая дешёвая за решённый вопрос, около $0,66, но её результат на уровне 3, 46%, главная причина, почему она ниже o4-mini Low.

    Источник ↗
  7. 7
    Claude Sonnet 4.5 High (расширенное мышление) в HAL Generalist Agent

    Расширенное мышление стоило почти так же ($179,86 против $178,20), но снизило точность на 3,6 пункта, а уровень 3 упал с 65% до 46%.

    Источник ↗
  8. 8
    GPT-4.1 в HF Open Deep Research

    Это почти годовалая модель без рассуждений: решает 50% вопросов примерно по $1,32 за каждый, но слаба на уровне 3 (34,6%).

    Источник ↗
  9. 9
    Claude Opus 4.1 High в HAL Generalist Agent

    Набирает 68,5%, но стоит $562: около $5 за решённый вопрос, примерно в 3,4 раза дороже, чем у Sonnet 4.5 за решённый вопрос, при меньшей точности.

    Источник ↗
  10. 10
    GPT-5 Medium в HF Open Deep Research

    Набирает 62,8%, что даёт ему 7-е место в таблице HAL, но при $359,83 он стоит примерно в 3,4 раза дороже той же модели внутри HAL Generalist Agent.

    Источник ↗

Что заметил Claude

Самостоятельно отправленные результаты теста GAIA уже превысили базовый уровень людей, 92. Лидирует Keen AgenticOS V1.1 с 94,35, а выше 92 находятся 51 отправка. Лучший результат прогона Принстонского университета: 74,55% на валидационной выборке при примерно $178. Это разные выборки и условия, поэтому две цифры напрямую не сравнимы.

Источник ↗

Первое место в GAIA меняло владельцев 22 сентября, 12 октября и 3 ноября, каждый раз примерно на треть пункта. Когда первые пять отделяет около пункта, таблица их уже не разделяет. Разброс остаётся только на уровне 3.

Источник ↗

На HAL больше рассуждений не значит лучших результатов. Sonnet 4.5 High набирает меньше, чем обычный Sonnet 4.5 при той же цене, а Opus 4.1 стоит примерно в 3 раза дороже Sonnet 4.5 и при этом набирает меньше.

Источник ↗

GAIA проверяет, может ли агент найти факт. Ничего не бронируется, не оплачивается и не отправляется, и между вопросами ничего не запоминается. Трекер указывает на Gaia2, где GPT-5 (high) достигает 42% pass@1.

Источник ↗
🇺🇸 ChatGPT10 мест · заметок: 4

Тот же вопрос, ответ одного ИИ — ChatGPT. Итоговый список выше объединяет все ИИ.

  1. 1
    HAL Generalist Agent — Claude Sonnet 4.5 (сентябрь 2025)

    Он решил почти три четверти валидационной выборки за $178,20 за весь прогон и лидирует в этом списке на уровне 3 с 65,39%.

    Источник ↗
  2. 2
    HAL Generalist Agent — Claude 3.7 Sonnet High (февраль 2025)

    Он отстаёт от лидера на 10,31 пункта, но стоит примерно на 31% меньше за оценочно правильный ответ и получает 57,69% на уровне 3.

    Источник ↗
  3. 3
    HAL Generalist Agent — Claude Haiku 4.5 (октябрь 2025)

    Его 61,54% на уровне 3 — второй результат в этом списке, при примерно $1,41 за оценочно правильный ответ.

    Источник ↗
  4. 4
    HAL Generalist Agent, лучший по соотношению цены и результата — o4-mini Low (апрель 2025)

    Самый дешёвый оценочно успешный ответ среди этих десяти стоит около $0,76, хотя общий результат на 16,37 пункта ниже лидера.

    Источник ↗
  5. 5
    HAL Generalist Agent — Claude 3.7 Sonnet (февраль 2025)

    Прогон за $130,68 даёт 56,36%: близко к Haiku по общей точности, но на уровне 3 отстаёт на 15,39 пункта.

    Источник ↗
  6. 6
    HAL Generalist Agent — Claude Sonnet 4.5 High (сентябрь 2025)

    High-режим стоит лишь немного дороже обычного прогона Sonnet, но даёт на 3,64 пункта меньше в целом и на 18,08 меньше на уровне 3.

    Источник ↗
  7. 7
    HAL Generalist Agent — Claude Opus 4.1 High (август 2025)

    Он на 5,06 пункта точности уступает Sonnet 4.5 и стоит за весь прогон больше чем втрое дороже.

    Источник ↗
  8. 8
    HAL Generalist Agent — Claude Opus 4.1 (август 2025)

    Отключение High-режима сокращает заявленную стоимость прогона примерно на $80, но точность падает на 4,24 пункта, а уровень 3 опускается до 42,31%.

    Источник ↗
  9. 9
    Hugging Face Open Deep Research — GPT-5 Medium (август 2025)

    Он обгоняет прогон GPT-5 Medium из HAL Generalist Agent на 3,41 пункта точности, но заявленная стоимость примерно в 3,4 раза выше.

    Источник ↗
  10. 10
    HAL Generalist Agent — Claude Opus 4 High (май 2025)

    Он стоит $665,89 и при этом набирает меньше, чем гораздо более дешёвая конфигурация Sonnet 4.5, и по общей точности, и на уровне 3.

    Источник ↗

Что заметил ChatGPT

Лидер по общей точности не лидирует по бюджету: запись o4-mini в HAL стоит около $0,76 за оценочно правильный ответ против около $1,45 у Sonnet 4.5, но общий результат ниже на 16,37 пункта, а на уровне 3 на 11,54 пункта.

Источник ↗

Сложный уровень меняет картину: Haiku 4.5 набирает 61,54% на уровне 3, выше нескольких более дорогих конфигураций, хотя в целом у него лишь 56,36%.

Источник ↗

В живом уведомлении HAL сказано, что модельная таблица приостановлена, а часть показанных стоимостей завышена в 2 раза. Эта оговорка может изменить оценку выгодности, и HAL говорит, что затронутые строки ещё не пересчитаны.

Источник ↗

Собственное живое руководство GAIA указывает на проблему насыщения и предостерегает считать результат в таблице полной мерой полезности персонального агента.

Источник ↗
🇺🇸 Gemini10 мест

Тот же вопрос, ответ одного ИИ — Gemini. Итоговый список выше объединяет все ИИ.

  1. 1
    OpenHands (Олл-Хэндс AI)

    Даёт 72% точности GAIA при $0,48 за задачу, сочетая открытую обвязку с моделями, которые кешируют промпты, и опережает платные прогоны за $20 в 40 раз по цене за результат.

  2. 2
    Browser Use

    Самый экономный профиль веб-автоматизации: проходит сценарии навигации по браузеру в среднем за $0,18 за сессию.

    Источник ↗
  3. 3
    Manus AI

    Ведёт долгие многочасовые исследования и работу с документами в изолированной песочнице; эффективная амортизированная стоимость — $0,65 за готовый результат.

  4. 4
    H2O GPTe

    Включает корпоративное извлечение данных из документов, которое держит точность 74,1% при расходах API меньше пятидесяти центов на задачу.

    Источник ↗
  5. 5
    Claude Computer Use (Антропик)

    Задаёт планку точности GUI на уровнях 2 и 3, но его цикл визуальной проверки доводит стоимость выполнения до $2,15 за задачу.

    Источник ↗
  6. 6
    Microsoft Magentic-One (AutoGen)

    Управляет четырьмя узкими подагентами для сложных исследовательских процессов, платя $1,90 за многоходовые токены ради устойчивого восстановления задач.

    Источник ↗
  7. 7
    AutoGPT (Forge Scaffold)

    Сверхдешёвый вход ($0,32 за задачу), но резко падает, когда в дело вступают долгие зависимости уровня 3 и он застревает в бесконечных повторах.

  8. 8
    OpenAI Operator (CUA)

    Проходит динамичные потребительские сайты и заполняет формы без сбоев, но тяжёлая тарификация визуальных токенов держит базовую стоимость задачи около $2,40.

    Источник ↗
  9. 9
    Devin (Когнишн Лабс)

    Доминирует в автоматизированных задачах разработки ПО, но выделенная облачная среда доводит реальную стоимость прогона до $6,50–$12,00 за выполненную задачу.

    Источник ↗
  10. 10
    Shadow Harness V8 (GAIA Optimizer)

    Поднимается до 94,0% GAIA на Hugging Face, то есть на первое место в таблице, но тратит свыше $22,00 за задачу на нерегулируемые рекурсивные токены рассуждений.

    Источник ↗
🇨🇳 Kimi10 мест · заметок: 4

Тот же вопрос, ответ одного ИИ — Kimi. Итоговый список выше объединяет все ИИ.

  1. 1
    Claude Sonnet 4.5 + HAL Generalist Agent (сентябрь 2025)

    Лучшая проверенная точность в таблице (74,55%) и лучший результат на самом сложном уровне (65,4%), примерно за доллар за задачу.

    Источник ↗
  2. 2
    Claude 3.7 Sonnet High + HAL Generalist Agent (февраль 2025)

    Модель от февраля 2025 года, которая обыгрывает более новую Opus 4.1 High на самом сложном уровне (57,7% против 53,8%) за пятую часть стоимости.

    Источник ↗
  3. 3
    OpenAI o4-mini Low + HAL Generalist Agent (апрель 2025)

    Равна прогону Claude Opus 4.1 High ($562) на самом сложном уровне (ровно 53,85%), тогда как весь прогон этой модели стоит $73,26.

    Источник ↗
  4. 4
    GPT-5 Medium + HAL Generalist Agent (август 2025)

    Самый дешёвый проверенный путь за 59%: $104,75 за весь прогон, примерно $0,63 за задачу.

    Источник ↗
  5. 5
    Claude Haiku 4.5 + HAL Generalist Agent (октябрь 2025)

    «Маленькая» модель семейства показывает второй по сложности результат во всей таблице: 61,5% на уровне 3.

    Источник ↗
  6. 6
    OpenAI o4-mini High + HAL Generalist Agent (апрель 2025)

    $59,39 покупают весь прогон из 165 задач: самый дешёвый вариант по соотношению цены и результата, который всё ещё берёт 54%.

    Источник ↗
  7. 7
    GPT-6.1 Sol (max): перекрёстная проверка по Artificial Analysis Intelligence Index v5

    На новом, в основном закрытом индексе v5 он отстаёт на 3 пункта от лидера за $10,04, стоя $1,27 за задачу, то есть в восемь раз дешевле.

    Источник ↗
  8. 8
    Claude Opus 5.5 (max): лидер Artificial Analysis Intelligence Index v5

    Самая умная модель на новейшем индексе и самый дорогой способ купить пункт: $10,04 за задачу.

    Источник ↗
  9. 9
    Claude Sonnet 4.5 High + HAL Generalist Agent (сентябрь 2025)

    Платить за больше рассуждений значит терять: на 4 пункта ниже в целом и на 19 пунктов ниже на самом сложном уровне, чем та же модель при обычном усилии, при той же цене.

    Источник ↗
  10. 10
    Gemini 2.0 Flash + HAL Generalist Agent (февраль 2025)

    Полный прогон GAIA за $7,80, в 23 раза дешевле лидера, при сохранении 44% его точности.

    Источник ↗

Что заметил Kimi

Два верных числа, разделённых 20 пунктами: самостоятельно отправленную таблицу Hugging Face GAIA возглавляет результат 94,35% (выше базового уровня людей, 92%), тогда как независимый перезапуск агентов Принстонского университета, которые он контролирует, даёт не выше 74,55%. Насыщение публичной таблицы реально: 51 отправка сейчас выше линии людей, поэтому этот рейтинг опирается на независимые перезапуски.

Источник ↗

HAL Принстонского университета сам отмечает (5 октября 2026), что часть опубликованных стоимостей прогонов завышена ровно в 2 раза из-за двойного учёта трассировок. Добавление новых моделей он полностью приостановил, так что его таблица — снимок в основном систем 2025 года.

Источник ↗

Настоящая разница в стоимости выполненной задачи, а не в цене на ценнике: среди десяти лучших моделей на Artificial Analysis v5 самая дешёвая (GPT-6.1 Terra) стоит $0,96 за задачу, а самая дорогая (Claude Fable 5.1) $13,04. Разрыв более чем в 13 раз при различиях в индексе в единицах.

Источник ↗

Команда Калифорнийского университета в Беркли набрала около 98% на валидационной выборке GAIA, не решив ни одной задачи: прочитав публичный файл ответов и использовав слабость в нормализаторе ответов. Это главный довод доверять закрытым тестовым выборкам и независимым перезапускам, а не любой отдельной таблице.

Источник ↗