Строгое прохождение и балл по шкале рассказывают разные истории. GPT-6.2 Astra полностью проходит 47,5% длинных задач, но в среднем набирает 78,3%, так что многая его работа получает частичные баллы, не пройдя все проверки.
Рейтинг ИИ-агентов для работы 2026: топ-10 по тестам реальных задач
Лучший агент на Agents' Last Exam, GPT-6.2 Astra, полностью выполняет лишь 47,5% из 122 длинных профессиональных задач. В бизнес-процессах Zapier большинство провалов — это когда агенты докладывают об успехе, хотя записи неверны.
- №1: GPT-6.2 Astra (Codex)
- 10 мест
01Итоговый список
Ведущие ИИ независимо составили свои списки из десяти мест. Сверху — один итог, который легко проверить: у каждого места есть причина, источник и список ИИ, которые его включили.
Сравнить доли выполнения и баллы по длинным профессиональным задачам, включая частичные баллы и долю строгого прохождения.
Яркая плашка — этот ИИ включил пункт в свой список. Тусклая — не включил.
- 1
GPT-6.2 Astra (Codex)
Лучший показатель строго пройденных задач на длинном экзамене — 47,5% за 29 часов, против 227 часов у Fable. Также проходит 52,4% бизнес-процессов Zapier при 0,83 $ за задачу.
Включили: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, Qwen. Не включили: Claude, DeepSeek, Qianwen.В их списках: ChatGPT: 1 · Meta: 2 · Grok: 1 · Gemini: 1 · MiMo: 1 · Kimi: 5 · Qwen: 2
Что отметил каждый ИИ 7
- ChatGPTместо 1
47,5% строгого прохождения и 78,3% балльной оценки при $3,05 за задачу и примерно 14 минутах: почти половина задач всё ещё не проходит планку «всё или ничего».
Источник ↗ - Metaместо 2
47,5% на ALE v1.1 — самая высокая строгая доля на сегодня, за 29 часов вместо 227.
Источник ↗ - Grokместо 1
Строго доводит до конца 47,5% из 122 длинных профессиональных задач за 29 часов: запуск, к которому Fable подбирается за 227 часов.
- Geminiместо 1
Лидирует в Agents' Last Exam v1.1 с 47,5% строгого прохождения и 78,3% балльной оценки, использует 2,6 млн выходных токенов, хотя пользователи всё ещё отмечают избыточную сложность решений и непроверенные утверждения.
Источник ↗ - MiMoместо 1
Первая модель, которой когда-либо присвоен уровень High за способность к самосовершенствованию, и её люди контролируют последней.
Источник ↗ - Kimiместо 5
Имеет самый высокий заявленный самой компанией показатель профессиональной работы, 77,6% в ALE v1.1, но это её собственный прогон по рубрике на максимальном усилии, а не строгая доля прохождения, по которой оценивают остальных.
Источник ↗ - Qwenместо 2
Лидирует в Agents' Last Exam v1.1 со строгим прохождением 47,5% и оценкой 78,3% при 2,6 млн выходных токенов.
Источник ↗
7 ИИ поставили сюда - 2
Gemini 4 Carbon
Он близок к вершине в обоих рейтингах: 45,9% строгого прохождения на длинном экзамене и 53,9% в процессах Zapier. Его частичный балл 77,4% скрывает, что примерно 54 из 100 длинных задач он не выполняет.
Включили: ChatGPT, Meta, Grok, Gemini, Claude, Kimi, DeepSeek. Не включили: MiMo, Qwen, Qianwen.В их списках: ChatGPT: 9 · Meta: 4 · Grok: 2 · Gemini: 3 · Claude: 1 · Kimi: 3 · DeepSeek: 1
Что отметил каждый ИИ 7
- ChatGPTместо 9
53,9% выполненных задач чуть ниже лидера закрытого рейтинга, но напрямую не сравнимо с профессиональными задачами ALE на работу за компьютером.
Источник ↗ - Metaместо 4
53,9% в AutomationBench — лучший результат по приложениям вместе, и 10,9% в GDPx при трети стоимости задачи Opus 5.5.
- Grokместо 2
Оценка по баллам 77,4% на длинном экзамене, но строго проваливается около 54 из каждых 100 таких задач.
- Geminiместо 3
45,9% прохождения и 77,4% оценки в Agents' Last Exam v1.1: сильные частичные баллы за сложные рабочие процессы в паре с детерминированными проверками.
Источник ↗ - Claudeместо 1
Лидирует в Agents' Last Exam v1.1 со строгим прохождением 45,9% и оценкой 77,4%, а в AutomationBench проходит 53,9% задач по $2,12 за каждую.
- Kimiместо 3
Чемпион самого строгого оценщика рабочих процессов: 53,9% в AutomationBench, это самая высокая доля прохождения, которую Zapier зафиксировала на 657 реальных бизнес-задачах.
- DeepSeekместо 1
Лидирует в ALE с 45,9% строгого прохождения и 77,4% оценки, но самый трудный уровень всё равно проваливает в 100% случаев.
Источник ↗
7 ИИ поставили сюда - 3
Claude Fable 5.2 (Claude Code)
Его 46,9% на длинном экзамене посчитаны без 9 снятых задач, а прогон занял 227 часов — дольше всех. Он проходит 51,4% процессов Zapier, но стоит 4,64 $ за задачу.
Включили: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Qwen. Не включили: Claude, Qianwen.В их списках: ChatGPT: 6 · Meta: 3 · Grok: 7 · Gemini: 2 · MiMo: 2 · Kimi: 4 · DeepSeek: 2 · Qwen: 1
Что отметил каждый ИИ 8
- ChatGPTместо 6
43,4% строгого прохождения, стоимость $60,05 и два часа на задачу в показанном запуске: почти на уровне лидера по доле прохождения, но при почти в 20 раз большей стоимости.
Источник ↗ - Metaместо 3
46,9% на ALE v1.1 и первое место в Intelligence Index после 227 часов работы агента.
Источник ↗ - Grokместо 7
Доля 46,9% не учитывает 9 задач, и запуск всё равно занял 227 часов и $4,64 за рабочий процесс.
- Geminiместо 2
Доля прохождения 46,9% и оценка 72,8% в Agents' Last Exam v1.1 (среднее по задачам без 9 понижённых), но нужны аккуратная дисциплина стоимости и проверки.
Источник ↗ - MiMoместо 2
Цена на уровне Astra, около $8, и гонку бенчмарков теперь решают центы, а не сообразительность.
Источник ↗ - Kimiместо 4
Вдвое превзошла предшественника в одном релизе, с 22,4% до 51,4% в AutomationBench, с 96,9 вызовами инструментов на задачу и $9,01 за фактически пройденную задачу на максимальном усилии.
- DeepSeekместо 2
Выполняет 41,25% реальных фриланс-заданий, более чем вдвое больше Opus 5.5, при $15,70+ за задачу ALE.
- Qwenместо 1
Лидирует в SWE-bench Verified с 95% и на парето-фронте реальной работы Арены при $11,32 за задачу.
Источник ↗
8 ИИ поставили сюда - 4
Gemini 4 Neon
Он лидирует в официальном рейтинге процессов Zapier — 56,3% при 1,69 $ за задачу. В длинном профессиональном экзамене строки для него нет, поэтому он проверен только на одном рейтинге.
Включили: ChatGPT, Grok, Gemini, Claude, Qwen. Не включили: Meta, MiMo, Kimi, DeepSeek, Qianwen.В их списках: ChatGPT: 2 · Grok: 4 · Gemini: 4 · Claude: 5 · Qwen: 5
Что отметил каждый ИИ 5
- ChatGPTместо 2
56,3% полностью выполненных задач в закрытом наборе сценариев Zapier — первое место в текущем списке моделей, но задача засчитывается, только если итоговое состояние верно в каждом приложении.
Источник ↗ - Grokместо 4
Выполняет 56,32% закрытых рабочих процессов Zapier за $1,69, но длинный профессиональный экзамен её не перечисляет.
- Geminiместо 4
Первое место в AutomationBench-AA с 79,3% и 94% выполненных целей в многоприложенческих бизнес-процессах, но для рискованных действий всё равно нужны защитные ограничения и проверки человеком.
Источник ↗ - Claudeместо 5
Лидирует в AutomationBench с 56,3% при $1,69 за задачу, это дешевле за задачу, чем у Carbon.
Источник ↗ - Qwenместо 5
Возглавляет независимый рейтинг Artificial Analysis AutomationBench-AA с 79,3% на симулированных SaaS-процессах.
Источник ↗
5 ИИ поставили сюда - 5
Qwen 4 (обвязка Codex)
Проходит 46,7% длинного экзамена — на 0,1 процентного пункта позади Fable, но на это уходит 185 часов. Прогон провела сторонняя команда, данных по процессам или стоимости не опубликовано.
Включили: Meta, Grok, Gemini. Не включили: ChatGPT, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen.В их списках: Meta: 8 · Grok: 5 · Gemini: 5
Что отметил каждый ИИ 3
- Metaместо 8
46,7% на ALE v1.1, третья позиция сразу за передовым уровнем, при значительно меньшем опубликованном объёме данных о стоимости и контроле.
Источник ↗ - Grokместо 5
Строгая доля 46,7%, на одну десятую пункта ниже заявленного показателя Fable, за 185 часов.
Источник ↗ - Geminiместо 5
Идёт в верхней группе Agents' Last Exam v1.1 вместе с Qwen 4: 46,7% прохождения и 74,4% оценки на проверяемых профессиональных процессах.
Источник ↗
3 ИИ поставили сюда - 6
Kimi 3.1 Pro (Kimi Code)
Такой же результат, как у Opus 5.5 (43,4% на длинном экзамене), но за 61 час вместо 177 и с 8,5 млн выходных токенов против 21,5 млн. Это самый экономичный выбор среди почти лидеров.
Включили: ChatGPT, Grok, Gemini, Claude, DeepSeek. Не включили: Meta, MiMo, Kimi, Qwen, Qianwen.В их списках: ChatGPT: 7 · Grok: 3 · Gemini: 6 · Claude: 4 · DeepSeek: 5
Что отметил каждый ИИ 5
- ChatGPTместо 7
43,4% строгого прохождения при $7 за задачу и около 30 минут: та же доля, что у более дорогих передовых запусков в этом рейтинге.
Источник ↗ - Grokместо 3
Та же строгая доля 43,4%, что у Opus, примерно за треть времени и с 8,5 млн токенов против 21,5 млн.
Источник ↗ - Geminiместо 6
Даёт 43,4% лучшего прохождения в обвязке Kimi Code и 74,4% оценки при 8,5 млн выходных токенов, что намного меньше 21,5 млн у Claude Opus 5.5.
Источник ↗ - Claudeместо 4
Модель из семейства с открытыми весами сравнялась с Opus 5.5 — 43,4% в ALE v1.1, а её родственная Kimi K3 занимает 12-е место в AutomationBench с 22,7%.
Источник ↗ - DeepSeekместо 5
43,4% прохождения ALE за 61 час: быстрее Opus 5.5 и Fable 5.2 при схожих оценках.
Источник ↗
5 ИИ поставили сюда - 7
Gemini 4 Hydrogen (Antigravity CLI)
Самый выгодный выбор: 51,1% в процессах Zapier при 0,82 $ за задачу и 30,6% при 0,18 $. Также проходит 43,4% длинного экзамена.
Включили: Grok, Kimi. Не включили: ChatGPT, Meta, Gemini, Claude, MiMo, DeepSeek, Qwen, Qianwen.В их списках: Grok: 9 · Kimi: 6
Что отметил каждый ИИ 2
- Grokместо 9
Рабочие процессы обходятся в $0,82 при строгой доле 51,14%, а длинный экзамен сжигает 25,5 млн токенов ради 43,4%.
- Kimiместо 6
Фронт соотношения цены и качества: 51,1% в AutomationBench за $0,82 за задачу, а при низком усилии проходит 30,6% за $0,18. Ничего из протестированного не одновременно дешевле и точнее.
2 ИИ поставили сюда - 8
Claude Opus 5.5 (Claude Code)
Проходит 43,4% длинного экзамена за 177 часов и 21,5 млн токенов, а также 42,5% процессов Zapier при 1,44 $. Его 38,2% по старому рейтингу получены на другом наборе задач.
Включили: ChatGPT, Meta, Grok, Claude, Kimi, DeepSeek, Qwen. Не включили: Gemini, MiMo, Qianwen.В их списках: ChatGPT: 10 · Meta: 1 · Grok: 8 · Claude: 2 · Kimi: 1 · DeepSeek: 4 · Qwen: 4
Что отметил каждый ИИ 7
- ChatGPTместо 10
50,3% в открытом наборе Zapier из 600 задач; сама Zapier предупреждает, что её официальные закрытые оценки могут отличаться.
Источник ↗ - Metaместо 1
Лидирует в самом трудном профессиональном тесте с 12%, но всё равно проваливает 88% при $51,41 за задачу.
Источник ↗ - Grokместо 8
Строгая доля 43,4% и оценка 71,6% — после 177 часов и 21,5 млн выходных токенов.
Источник ↗ - Claudeместо 2
Делит второе место в ALE v1.1 с 43,4%, но в AutomationBench даёт 29,5% по $0,65 за задачу на среднем уровне усилий и 42,5% на максимуме: большой разброс в зависимости от настройки.
Источник ↗ - Kimiместо 1
Лидирует в самом строгом профессиональном экзамене (38,2% прохождения и 63,2% оценки в Agents' Last Exam) и GDPval-AA (68,3%), за $1 340 и 183 часа вычислений.
Источник ↗ - DeepSeekместо 4
Лучший в DAYJOB на профессиональных задачах по 13–17 часов: 24,7% в здравоохранении, но 177 часов на ALE.
Источник ↗ - Qwenместо 4
Показывает 97% в SWE-bench Verified (с Mini-SWE-agent), стоя всего $8,06 за задачу в рейтинге работы Арены.
Источник ↗
7 ИИ поставили сюда - 9
GPT-6.2 Sol (Codex)
Уступает Astra примерно шесть пунктов, проходя 41,8% длинного экзамена, но укладывается в 32 часа и 3,1 млн токенов. Оценка по рейтингу процессов не опубликована.
Включили: Grok, MiMo. Не включили: ChatGPT, Meta, Gemini, Claude, Kimi, DeepSeek, Qwen, Qianwen.В их списках: Grok: 6 · MiMo: 3
Что отметил каждый ИИ 2
- Grokместо 6
Уступает Astra шесть пунктов по доле прохождения, но всё равно проходит длинный экзамен за 32 часа.
Источник ↗ - MiMoместо 3
Почти догоняет флагман на реальных кодовых базах за одну пятую стоимости: выгодное соотношение цены и качества на запуске.
Источник ↗
2 ИИ поставили сюда - 10
Gemini 4 Argon
Проходит 51,3% процессов Zapier по цене 1,70 $ по прайс-листу, но только 40,2% длинного экзамена. В октябре он возглавлял рейтинг процессов, пока его не обошёл Neon.
Включили: Meta, Grok, Claude, DeepSeek. Не включили: ChatGPT, Gemini, MiMo, Kimi, Qwen, Qianwen.В их списках: Meta: 5 · Grok: 10 · Claude: 8 · DeepSeek: 6
Что отметил каждый ИИ 4
- Metaместо 5
51,3% в AutomationBench, 337 из 657 рабочих процессов, при $1,70 за задачу.
- Grokместо 10
Прайс-лист: $1,70 за рабочий процесс при строгой доле 51,29%, а доля прохождения длинного экзамена — 40,2%.
- Claudeместо 8
Набирает 40,2% в ALE v1.1 и также достигает вершины в одном повторном снимке AutomationBench 1.0.6 — 51,3%.
Источник ↗ - DeepSeekместо 6
51,3% строгого прохождения в AutomationBench при $1,70/задачу: лучший агент для рабочих процессов между приложениями.
Источник ↗
4 ИИ поставили сюда
02Стоит знать
Что заметили ИИ, пока составляли список.
Провалы выглядят как успехи: Zapier сообщает, что агент заявлял об успехе, хотя записи были неверны, в 91% провалов Gemini, 84% провалов GPT-5.4 и 72% провалов Opus.
Похожий процент прохождения может занимать сутки или неделю машинного времени. На 47,5% у Astra ушло 29 часов, а у Fable 5.2 с 46,9% на наборе без 9 задач — 227 часов.
Каждая модель, проверенная на AutomationBench-AA, нарушала бизнес-ограничения: от 0,46 до 1,26 нарушения на задачу, поэтому проверка человеком необходима.
Epoch AI сочла Agents' Last Exam v1.1 ошибочным: в выборке 22 из 50 задач могли засчитываться полностью без нужной работы. Относитесь к баллам как к доказательству, а не как к гарантии надёжности.
03Как считали
Простыми словами, без формул.
1Вопрос
Топ-10 ИИ-агентов для профессиональной работы: результаты по задачам, стоимость и контроль человека
2Почему эта тема
Читатель видит измеренные результаты по задачам вместе со стоимостью, временем работы и необходимостью проверки человеком — компромиссы, которые не отражает ни один отдельный тест.
3Где это применимо
Мировые системы ИИ-агентов, в фокусе — длинные и проверяемые профессиональные процессы
4На что смотрели
- Сравнить доли выполнения и баллы по длинным профессиональным задачам, включая частичные баллы и долю строгого прохождения.
- Сопоставить результаты со стоимостью, временем работы и тем, сколько проверки, исправлений или перехвата человеком нужно, чтобы доверять результату.
- Agents' Last Exam v1.1 (UC Berkeley RDI, Фонд RDI, Snorkel AI) — доля строгого прохождения и балл с частичным зачётом по 122 открытым длинным задачам в 55 подотраслях, с временем работы и объёмом вывода
- Zapier AutomationBench 1.0.6 — строгое выполнение межприкладных бизнес-процессов на закрытом контрольном наборе (47 имитируемых приложений, шесть функций), со стоимостью за задачу. Каждая проверка должна быть пройдена.
- Artificial Analysis AutomationBench-AA — независимый повторный прогон закрытых 657 задач Zapier: объективное выполнение без нарушения ограничений (частичный зачёт) плюс строгое прохождение. Каждая модель нарушает бизнес-правила, с
- Разбор Agents' Last Exam от Epoch AI — проверка самого теста: в выборке 22 из 50 задач позволяли полный зачёт без нужной работы.
5Кто ставил места
Ведущие ИИ: ChatGPT, Meta, Grok, Gemini, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen. Каждый сам составил свой список из десяти мест и к каждому месту назвал источник.
6Как сведены места
Одно и то же, названное разными ИИ по-разному, считали за одно. Чем больше ИИ включили пункт в свой список и чем выше поставили, тем выше его место. «Согласие ИИ» показывает, у скольких ИИ этот пункт был в собственном списке. Источники — только те, что нашли сами ИИ, ничего не добавлено вручную.
04Список каждого ИИ отдельно
🇺🇸 ChatGPT10 мест · заметок: 4
Тот же вопрос, ответ одного ИИ — ChatGPT. Итоговый список выше объединяет все ИИ.
- 1GPT-6.2 Astra — Agents' Last Exam v1.1
47,5% строгого прохождения и 78,3% балльной оценки при $3,05 за задачу и примерно 14 минутах: почти половина задач всё ещё не проходит планку «всё или ничего».
Источник ↗ - 2Gemini 4 Neon — AutomationBench (Zapier)
56,3% полностью выполненных задач в закрытом наборе сценариев Zapier — первое место в текущем списке моделей, но задача засчитывается, только если итоговое состояние верно в каждом приложении.
Источник ↗ - 3GPT-6.2 Astra — AutomationBench (Zapier)
52,4% полностью пройденных сценариев в том же закрытом рейтинге; отдельная цифра ALE, $3,05 за задачу, даёт второй показатель, который напрямую не сопоставим с первым.
Источник ↗ - 4GPT-6.2 Astra — AutomationBench-AA
Artificial Analysis оценивает 657 задач от Zapier и 22 822 проверки, показывая частичное выполнение наряду со строгими результатами, а не сводя каждую задачу к простому «выполнено».
Источник ↗ - 5GPT-6.2 Astra — Remote Labor Index
Высоко в симулированных тестах рабочих процессов, но экспертный тест Scale AI на фриланс-проектах, который оценивают эксперты, даёт нужную проверку против идеальных песочничных задач.
Источник ↗ - 6Claude Fable 5.2 Max — Agents' Last Exam v1.1
43,4% строгого прохождения, стоимость $60,05 и два часа на задачу в показанном запуске: почти на уровне лидера по доле прохождения, но при почти в 20 раз большей стоимости.
Источник ↗ - 7Kimi K3.1 Pro Max — Agents' Last Exam v1.1
43,4% строгого прохождения при $7 за задачу и около 30 минут: та же доля, что у более дорогих передовых запусков в этом рейтинге.
Источник ↗ - 8Claude Opus 5.5 Max — Agents' Last Exam v1.1
43,4% строгого прохождения при $17,57 за задачу и 87 минутах: ниже показателя лучшего запуска, при заметно большей заявленной стоимости.
Источник ↗ - 9Gemini 4 Carbon — AutomationBench (Zapier)
53,9% выполненных задач чуть ниже лидера закрытого рейтинга, но напрямую не сравнимо с профессиональными задачами ALE на работу за компьютером.
Источник ↗ - 10Claude Opus 5 — AutomationBench public benchmark
50,3% в открытом наборе Zapier из 600 задач; сама Zapier предупреждает, что её официальные закрытые оценки могут отличаться.
Источник ↗
Что заметил ChatGPT
Строгое прохождение и балльная оценка рассказывают разные истории: запуск ALE для GPT-6.2 Astra указан с 47,5% полностью пройденных задач, но средней оценкой 78,3%. Значит, многие запуски получили частичные баллы, не выполнив все требования рубрики.
В AutomationBench лучший показатель в закрытом наборе — 56,3%, а открытый репозиторий Zapier показывает 50,3% для лучшей модели из открытого списка. Наборы разные, поэтому эти цифры нельзя сводить в одну.
Цена может перевернуть впечатление о возможностях: один запуск ALE для Claude Fable 5.2 Max стоил $60,05 и занял два часа при 43,4% строгого прохождения, тогда как GPT-6.2 Astra — 47,5% при $3,05 и примерно 14 минутах.
Аудит бенчмарка нашёл серьёзные слабости в оценке на выборке задач ALE: Epoch AI сообщает, что 22 из 50 проверенных задач давали полный балл без нужной работы. Это причина воспринимать рейтинги как свидетельство, а не как гарантию надёжности на работе.
🇺🇸 Meta10 мест · заметок: 3
Тот же вопрос, ответ одного ИИ — Meta. Итоговый список выше объединяет все ИИ.
- 1Claude Opus 5.5 (Max) – Claude Code
Лидирует в самом трудном профессиональном тесте с 12%, но всё равно проваливает 88% при $51,41 за задачу.
Источник ↗ - 2GPT-6.2 Astra (Max) – Codex
47,5% на ALE v1.1 — самая высокая строгая доля на сегодня, за 29 часов вместо 227.
Источник ↗ - 3Claude Fable 5.2 (Max) – Claude Code
46,9% на ALE v1.1 и первое место в Intelligence Index после 227 часов работы агента.
Источник ↗ - 4Gemini 4 Carbon (High)
53,9% в AutomationBench — лучший результат по приложениям вместе, и 10,9% в GDPx при трети стоимости задачи Opus 5.5.
- 5Gemini 4 Argon (High)
51,3% в AutomationBench, 337 из 657 рабочих процессов, при $1,70 за задачу.
- 6GPT-6 Astra (Max) – Codex
9,6% в GDPx и 41,4% в AutomationBench: сильно, но на ступень ниже его преемника 6.2 по обоим показателям.
Источник ↗ - 7Claude Sonnet 5.5 (Max)
44,7% в AutomationBench — практичная Claude для рутинной работы между приложениями, $1,14 за задачу.
- 8Qwen 4
46,7% на ALE v1.1, третья позиция сразу за передовым уровнем, при значительно меньшем опубликованном объёме данных о стоимости и контроле.
Источник ↗ - 9GPT-6.1 Terra (Max)
60,0% по баллам в ALE при $1,01 за задачу: в девять раз дешевле Opus 5.5 при пяти пунктах меньше.
Источник ↗ - 10GitHub Copilot Fusion (Max)
71,2% в Terminal-Bench — лучший результат в терминале, но задачи терминала — не вся профессиональная работа.
Источник ↗
Что заметил Meta
Лучший агент в GDPx всё ещё проваливает 88% экспертных задач, а в ранних данных этого теста все модели набрали ноль в финансах и праве.
Стоимость переворачивает рейтинг: Fable 5.2 понадобилось 227 часов на ALE v1.1, тогда как GPT-6.2 Astra хватило 29 часов при более высокой доле прохождения.
Горизонт METR удваивается примерно каждые 130 дней с 2023 года, но горизонт с надёжностью 80% намного короче горизонта 50%, поэтому надёжная долгая работа отстаёт от громких заявлений о долгой работе.
🇺🇸 Grok10 мест · заметок: 3
Тот же вопрос, ответ одного ИИ — Grok. Итоговый список выше объединяет все ИИ.
- 1GPT-6.2 Astra
Строго доводит до конца 47,5% из 122 длинных профессиональных задач за 29 часов: запуск, к которому Fable подбирается за 227 часов.
- 2Gemini 4 Carbon
Оценка по баллам 77,4% на длинном экзамене, но строго проваливается около 54 из каждых 100 таких задач.
- 3Kimi 3.1 Pro
Та же строгая доля 43,4%, что у Opus, примерно за треть времени и с 8,5 млн токенов против 21,5 млн.
Источник ↗ - 4Gemini 4 Neon
Выполняет 56,32% закрытых рабочих процессов Zapier за $1,69, но длинный профессиональный экзамен её не перечисляет.
- 5Qwen 4
Строгая доля 46,7%, на одну десятую пункта ниже заявленного показателя Fable, за 185 часов.
Источник ↗ - 6GPT-6.2 Sol
Уступает Astra шесть пунктов по доле прохождения, но всё равно проходит длинный экзамен за 32 часа.
Источник ↗ - 7Claude Fable 5.2
Доля 46,9% не учитывает 9 задач, и запуск всё равно занял 227 часов и $4,64 за рабочий процесс.
- 8Claude Opus 5.5
Строгая доля 43,4% и оценка 71,6% — после 177 часов и 21,5 млн выходных токенов.
Источник ↗ - 9Gemini 4 Hydrogen
Рабочие процессы обходятся в $0,82 при строгой доле 51,14%, а длинный экзамен сжигает 25,5 млн токенов ради 43,4%.
- 10Gemini 4 Argon
Прайс-лист: $1,70 за рабочий процесс при строгой доле 51,29%, а доля прохождения длинного экзамена — 40,2%.
Что заметил Grok
Лучший строгий результат в длинном профессиональном экзамене всё равно означает промах в большинстве задач: GPT-6.2 Astra проходит 47,5% из 122, поэтому остальное должен доделать или отбросить человек.
Похожая доля прохождения длинного экзамена может стоить неделю машинного времени или день. Astra: 47,5% за 29 часов и 2,6 млн выходных токенов; Fable 5.2: 46,9% на наборе, где сняты 9 задач, — 227 часов и 28,2 млн.
В июне Беркли сообщил, что каждый передовой агент, которого он испытал, включая Fable 5, набрал 0% на самом сложном уровне, а лучший общий результат составил около 26%. Октябрьская таблица — другой, меньший открытый набор.
🇺🇸 Gemini10 мест · заметок: 3
Тот же вопрос, ответ одного ИИ — Gemini. Итоговый список выше объединяет все ИИ.
- 1Codex + GPT-6.2 Astra
Лидирует в Agents' Last Exam v1.1 с 47,5% строгого прохождения и 78,3% балльной оценки, использует 2,6 млн выходных токенов, хотя пользователи всё ещё отмечают избыточную сложность решений и непроверенные утверждения.
Источник ↗ - 2Claude Code + Fable 5.2
Доля прохождения 46,9% и оценка 72,8% в Agents' Last Exam v1.1 (среднее по задачам без 9 понижённых), но нужны аккуратная дисциплина стоимости и проверки.
Источник ↗ - 3ALE-Claw + Gemini 4 Carbon
45,9% прохождения и 77,4% оценки в Agents' Last Exam v1.1: сильные частичные баллы за сложные рабочие процессы в паре с детерминированными проверками.
Источник ↗ - 4Gemini 4 Neon (Xhigh)
Первое место в AutomationBench-AA с 79,3% и 94% выполненных целей в многоприложенческих бизнес-процессах, но для рискованных действий всё равно нужны защитные ограничения и проверки человеком.
Источник ↗ - 5Codex + Qwen4-Max
Идёт в верхней группе Agents' Last Exam v1.1 вместе с Qwen 4: 46,7% прохождения и 74,4% оценки на проверяемых профессиональных процессах.
Источник ↗ - 6Kimi Code + Kimi 3.1 Pro
Даёт 43,4% лучшего прохождения в обвязке Kimi Code и 74,4% оценки при 8,5 млн выходных токенов, что намного меньше 21,5 млн у Claude Opus 5.5.
Источник ↗ - 7Claude Opus 5
Лидирует в публичном AutomationBench по выполнению многодоменных SaaS-задач: 50,3% прохождения на максимальном усилии в продажах, маркетинге, операциях, поддержке, финансах и HR.
Источник ↗ - 8Antigravity CLI
Достигает 43,4% лучшего прохождения в Agents' Last Exam v1.1, показывая конкурентоспособную организацию обвязки агентов в многошаговых задачах.
Источник ↗ - 9Muse Code
Показывает 38,5% лучшего прохождения в Agents' Last Exam v1.1, отстаёт от лучших обвязок в строгом выполнении целой задачи и нуждается в проверке человеком на сложных случаях.
Источник ↗ - 10OpenClaw
Даёт 36,1% лучшего прохождения в Agents' Last Exam v1.1: полезная автоматизация, но большой простор для проверки и исправлений человеком.
Источник ↗
Что заметил Gemini
Даже лучший результат Agents' Last Exam v1.1 (47,5%) оставляет больше половины из 122 задач нерешёнными, а более трудные уровни в прошлом давали в среднем меньше 1% полного прохождения.
Стоимость токенов и время сильно различаются по моделям и обвязкам: например, Kimi 3.1 Pro набирает 74,4% по баллам на 8,5 млн выходных токенов против 21,5 млн у Opus 5.5, а облегчённые обвязки могут снизить стоимость на 41% без заметной потери качества.
В отчёте Zapier за ноябрь 2026 года: 45% руководителей ограничивают контроль работы ИИ человеком только рискованными задачами или не предусматривают его вовсе, хотя агенты всё ещё ошибаются и нуждаются в проверке человеком.
🇺🇸 Claude10 мест · заметок: 4
Тот же вопрос, ответ одного ИИ — Claude. Итоговый список выше объединяет все ИИ.
- 1Gemini 4 Carbon (Google)
Лидирует в Agents' Last Exam v1.1 со строгим прохождением 45,9% и оценкой 77,4%, а в AutomationBench проходит 53,9% задач по $2,12 за каждую.
- 2Claude Opus 5.5 (Anthropic)
Делит второе место в ALE v1.1 с 43,4%, но в AutomationBench даёт 29,5% по $0,65 за задачу на среднем уровне усилий и 42,5% на максимуме: большой разброс в зависимости от настройки.
Источник ↗ - 3GPT-6 Astra (OpenAI)
Набирает 42,6% в ALE v1.1, а в AutomationBench: от 30,3% при низком усилии ($1,08 за задачу) до 41,4% на максимуме.
Источник ↗ - 4Kimi 3.1 Pro / K3.1 (Moonshot)
Модель из семейства с открытыми весами сравнялась с Opus 5.5 — 43,4% в ALE v1.1, а её родственная Kimi K3 занимает 12-е место в AutomationBench с 22,7%.
Источник ↗ - 5Gemini 4 Neon (Google)
Лидирует в AutomationBench с 56,3% при $1,69 за задачу, это дешевле за задачу, чем у Carbon.
Источник ↗ - 6GPT-5.5 with Codex (OpenAI)
Возглавлял исходный Agents' Last Exam с 24,0% строгого прохождения, а в более поздних публикациях Codex упоминается с 26%.
Источник ↗ - 7Claude Fable 5 with Claude Code (Anthropic)
Был третьим в исходном ALE с 22,0%, уступив двум настройкам GPT-5.5.
Источник ↗ - 8Gemini 4 Argon (Google)
Набирает 40,2% в ALE v1.1 и также достигает вершины в одном повторном снимке AutomationBench 1.0.6 — 51,3%.
Источник ↗ - 9Claude Sonnet 5.5 (Anthropic)
Один агрегатор указывает 60,4% в ALE v1.1, но его колонка выглядит как оценка, а не как доля прохождения.
Источник ↗ - 10Muse Wonder 1.0
Идёт за верхней группой в ALE v1.1 с долей прохождения 38,5%.
Источник ↗
Что заметил Claude
Одно и то же семейство агентов может набрать около 30% или 42% в AutomationBench в зависимости от настройки усилия, поэтому настройка значит не меньше, чем модель.
В первом Agents' Last Exam средняя строгая доля прохождения на самом трудном уровне составила 2,6%, а большинство моделей, включая GPT-5.5 и Fable 5, набрали ноль.
Строгое прохождение и балльная оценка показывают, насколько сильно скрывают частичные баллы: Gemini 4 Carbon полностью проходит 45,9% задач ALE v1.1, но в среднем набирает 77,4%.
Сообщённое испытание KPMG со 100+ агентами на живом аудите всё ещё потребовало человеческой правки: реальный аналог этих оценок на тестах.
🇨🇳 MiMo10 мест · заметок: 4
Тот же вопрос, ответ одного ИИ — MiMo. Итоговый список выше объединяет все ИИ.
- 1GPT-6.2 Astra (OpenAI, 2026)
Первая модель, которой когда-либо присвоен уровень High за способность к самосовершенствованию, и её люди контролируют последней.
Источник ↗ - 2Claude Fable 5.2 (Anthropic, 2026)
Цена на уровне Astra, около $8, и гонку бенчмарков теперь решают центы, а не сообразительность.
Источник ↗ - 3GPT-6.2 Sol (OpenAI, 2026)
Почти догоняет флагман на реальных кодовых базах за одну пятую стоимости: выгодное соотношение цены и качества на запуске.
Источник ↗ - 4EY multi-agent audit framework (EY Canvas)
Побеждает самый скучный тип агента: встроенный в программы, которыми аудиторы уже пользуются.
Источник ↗ - 5KPMG audit agent swarm (Project Exponential)
100+ агентов на каждом этапе аудита, и одна человеческая правка оказывается самым ценным данным в отрасли.
Источник ↗ - 6KPMG Clara Intelligence agents (US)
Управляемые агенты с «human-assured» в названии продукта: контроль как маркетинговый довод.
Источник ↗ - 7PwC AI Agent Operating System
Слой оркестрации, а не агент: та инфраструктура, к которой другие смогут подключать проверяемых агентов.
Источник ↗ - 8AutomationBench agent harness (Zapier, benchmark)
47 реальных инструментов и намеренно двусмысленные задачи: ближайшее подобие репетиции офисной работы.
- 9Agents' Last Exam harness (UC Berkeley RDI)
Единственный публичный тест, который оценивает целые многодневные профессиональные задания со скрытыми ответами, а не отдельные вопросы.
- 10KPMG Ignite Financial Assistant (Workday/Google Cloud)
Помощник закрытия месяца: узкий, проверяемый и ближе к реальной финансовой работе, чем большинство демо.
Источник ↗
Что заметил MiMo
Новая гонка идёт за стоимость выполненной работы, а не за изобретательность: Astra стоит меньше трети предшественника за задачу, а Sol на реальных кодовых базах догоняет флагман за пятую часть цены.
Самое важное для безопасности в запуске — не балл, а оценка: Astra — первая модель с уровнем High за способность к самосовершенствованию.
Бенчмарки и реальность расходятся намеренно: Agents' Last Exam и AutomationBench оценивают симулированные задачи, а единственное полное живое профессиональное испытание (KPMG) потребовало исправления человеком.
Независимая таблица (AutomationBench-AA) существует именно потому, что создатель бенчмарка сам продаёт агентов: модель управления, которую перенимают другие лаборатории.
🇨🇳 Kimi10 мест · заметок: 3
Тот же вопрос, ответ одного ИИ — Kimi. Итоговый список выше объединяет все ИИ.
- 1Claude Opus 5.5 (Claude Code)
Лидирует в самом строгом профессиональном экзамене (38,2% прохождения и 63,2% оценки в Agents' Last Exam) и GDPval-AA (68,3%), за $1 340 и 183 часа вычислений.
Источник ↗ - 2GPT-6 Astra (Codex harness)
Второй в Agents' Last Exam (34,2%) с лучшим в классе результатом работы за компьютером (72,6% в OSWorld 2.0, ~40 минут на задачу) и вдвое меньшей стоимостью кода на задачу, чем у Claude при равном индексе.
Источник ↗ - 3Gemini 4 Carbon
Чемпион самого строгого оценщика рабочих процессов: 53,9% в AutomationBench, это самая высокая доля прохождения, которую Zapier зафиксировала на 657 реальных бизнес-задачах.
- 4Claude Fable 5.2 (with default fallbacks)
Вдвое превзошла предшественника в одном релизе, с 22,4% до 51,4% в AutomationBench, с 96,9 вызовами инструментов на задачу и $9,01 за фактически пройденную задачу на максимальном усилии.
- 5GPT-6.2 Astra
Имеет самый высокий заявленный самой компанией показатель профессиональной работы, 77,6% в ALE v1.1, но это её собственный прогон по рубрике на максимальном усилии, а не строгая доля прохождения, по которой оценивают остальных.
Источник ↗ - 6Gemini 4 Hydrogen
Фронт соотношения цены и качества: 51,1% в AutomationBench за $0,82 за задачу, а при низком усилии проходит 30,6% за $0,18. Ничего из протестированного не одновременно дешевле и точнее.
- 7Claude Sonnet 5.5
Обходит старшего собрата Opus 5.5 в AutomationBench (44,6% против 40,0%) при малой доле стоимости: самое ясное доказательство, что цена не предсказывает результат.
- 8GPT-6 Sol
Рабочая лошадка по цене: 32,2% строгого прохождения в Agents' Last Exam за $318 всего (против $1 100 у Astra) и около 80% результата Astra в AutomationBench примерно за шестую часть стоимости.
- 9MiniMax M3.1 Flash
Разрушитель цен: 29,6% в Agents' Last Exam за $91,44 всего, около 7% того, что потратил лидер, и на средних по сложности задачах бенчмарка поднимается до 46,3%.
Источник ↗ - 10Kimi K3
Лучший пакет агента с открытыми весами в профессиональном экзамене (28,3% строгого прохождения в собственной обвязке Kimi Code) и $0,43 за задачу в AutomationBench.
Источник ↗
Что заметил Kimi
Самая трудная работа всё ещё не тронута: на самом трудном уровне Agents' Last Exam, где задачи занимают у экспертов дни или недели, каждый протестированный передовой агент, включая самые новые флагманы, набрал 0%. Лучший общий результат рейтинга, около 38%, относится к полному набору задач, а не к сложному концу.
Деньги на вершине покупают на удивление мало: стоимость запусков ALE различается на порядок (примерно $1,33–$15,70 за выполненную задачу в июньском прогоне), а MiniMax M3.1 Flash достигает около 77% строгого прохождения лидера примерно за 7% его общих расходов ($91 против $1 340).
Строгие доли прохождения держат всех в скромности: лучший результат в AutomationBench на 657 задачах — 53,9%, а в симулированном офисе TheAgentCompany самая сильная модель полностью выполняет лишь около 30% профессиональных задач. «Полезные агенты уже здесь; готовых к работе агентов — пока нет».
🇨🇳 DeepSeek10 мест · заметок: 3
Тот же вопрос, ответ одного ИИ — DeepSeek. Итоговый список выше объединяет все ИИ.
- 1Gemini 4 Carbon (ALE-Claw)
Лидирует в ALE с 45,9% строгого прохождения и 77,4% оценки, но самый трудный уровень всё равно проваливает в 100% случаев.
Источник ↗ - 2Claude Fable 5.2 / 5.1 (Claude Code)
Выполняет 41,25% реальных фриланс-заданий, более чем вдвое больше Opus 5.5, при $15,70+ за задачу ALE.
- 3GPT-6 Astra (Codex)
42,6% прохождения ALE за 80 часов и 5,1 млн токенов: лидер эффективности среди агентов ALE из первой тройки.
Источник ↗ - 4Claude Opus 5.5 (Claude Code)
Лучший в DAYJOB на профессиональных задачах по 13–17 часов: 24,7% в здравоохранении, но 177 часов на ALE.
Источник ↗ - 5Kimi 3.1 Pro (Kimi Code)
43,4% прохождения ALE за 61 час: быстрее Opus 5.5 и Fable 5.2 при схожих оценках.
Источник ↗ - 6Gemini 4 Argon (ALE-Claw)
51,3% строгого прохождения в AutomationBench при $1,70/задачу: лучший агент для рабочих процессов между приложениями.
Источник ↗ - 7GPT-6 Sol (Codex)
33,2% прохождения AutomationBench при $0,27/задачу: самый дешёвый достоверный агент для рабочих процессов.
Источник ↗ - 8Claude Sonnet 5.5
44,7% строгого прохождения AutomationBench за $1,14: на 6,6 пункта позади лидера, но на 33% дешевле.
Источник ↗ - 9Gemini 3.5 Flash
42,6% в AutomationBench-AA при $0,49/задачу и 0,46 нарушений защитных правил на задачу: самый дешёвый относительно безопасный вариант.
Источник ↗ - 10DeepSeek V4.1 Flash (OpenClaw)
36,1% прохождения ALE за 76 часов: вариант с открытыми весами и 65,4% частичной оценки.
Источник ↗
Что заметил DeepSeek
Самый трудный уровень ALE всё ещё стена из нулей: каждый протестированный передовой агент, включая Fable 5, проваливает все задачи самого трудного уровня. Лучший общий агент проходит лишь 25,2% в исходном ALE против 82% в Terminal-Bench. Разрыв в профессиональной работе намного шире, чем в программировании.
ApprenticeBench даёт самое чистое сравнение стоимости и контроля: Fable 5.1 обходит лучшего человека-тестировщика, 72% против 51%, на реальной задаче по кредиторской задолженности, но стоит $18,23 за счёт против $7,21 у человека. Агент выигрывает по качеству и проигрывает по экономике.
Каждая модель нарушает бизнес-правила в AutomationBench-AA. Самая безопасная всё равно нарушает защитное правило примерно раз в 15 выполненных целей, а худшая делает это раз в 0,8 цели. При нынешней надёжности проверка человеком не необязательна.
🇨🇳 Qwen10 мест · заметок: 3
Тот же вопрос, ответ одного ИИ — Qwen. Итоговый список выше объединяет все ИИ.
- 1Claude Fable 5.2
Лидирует в SWE-bench Verified с 95% и на парето-фронте реальной работы Арены при $11,32 за задачу.
Источник ↗ - 2GPT-6.2 Astra
Лидирует в Agents' Last Exam v1.1 со строгим прохождением 47,5% и оценкой 78,3% при 2,6 млн выходных токенов.
Источник ↗ - 3Qwen3.8 Max
Набирает 86,1% в OSWorld-Verified, превосходя базовый уровень человека в открытых задачах работы за компьютером.
Источник ↗ - 4Claude Opus 5.5
Показывает 97% в SWE-bench Verified (с Mini-SWE-agent), стоя всего $8,06 за задачу в рейтинге работы Арены.
Источник ↗ - 5Gemini 4 Neon
Возглавляет независимый рейтинг Artificial Analysis AutomationBench-AA с 79,3% на симулированных SaaS-процессах.
Источник ↗ - 6MiniMax M3.1 Flash
Лидирует в официальном AutomationBench Zapier с 62,2% выполнения многошаговых бизнес-задач.
Источник ↗ - 7ERNIE 5.5 Flash Preview
Набирает 61,9% в AutomationBench Zapier, эффективно справляясь с неоднозначностями CRM и календаря между приложениями.
Источник ↗ - 8Devin (SWE-1.7 / SWE-2)
Автономный программный инженер Когнишн набирает 81,5% в Terminal-Bench 2.1 и 77,8% в SWE-bench Multilingual.
Источник ↗ - 9Lindy.ai
Конструктор ИИ-сотрудников без кода стоит от $29,99 до $199,99 в месяц, но пользователи делятся: 4,9 звезды на G2 и 1,7 на Трастпилот.
- 10Relevance AI
Фокусируется на «ИИ-фабриках», где операционные команды создают самообучающиеся рои агентов без написания кода.
Источник ↗
Что заметил Qwen
В Agents' Last Exam основные агенты ИИ сначала проходили лишь 2,6% реальных профессиональных задач, а последний рейтинг v1.1 показывает GPT-6.2 Astra с 47,5% строгого прохождения.
Рейтинги реальной работы, как у Арены, показывают: самые результативные агенты (как Claude Fable 5.2 при $11,32 за задачу) на самом деле дороже за выполненную задачу, чем старые модели (как Claude Opus 5.5 при $8,06).
AutomationBench от Zapier показывает большой разрыв между официальными результатами на хостинге (MiniMax, 62,2%) и независимыми оценками (Gemini 4 Neon, 79,3% в AA AutomationBench). Значит, то, как запущен бенчмарк, важно не меньше самой модели.
🇨🇳 Qianwen10 мест
Тот же вопрос, ответ одного ИИ — Qianwen. Итоговый список выше объединяет все ИИ.
- 1ChatGPT Work
Лучшая строгая доля прохождения в Agents' Last Exam с интегрированным выполнением инструментов.
Источник ↗ - 2Claude Cowork
Лучшая балльная оценка на длинных документных рабочих процессах.
- 3Microsoft Copilot Studio
Лучшая интеграция с M365 для проверенных бизнес-задач.
- 4Gemini Agent
Сильные мультимодальные результаты в рабочих процессах между приложениями.
- 5Codex
Ведущая генерация кода и отладка в профессиональных задачах разработки.
Источник ↗ - 6Manus
Высокая автономность в исследовательских задачах, но нужна проверка человеком.
- 7Cursor
Оптимизирована для кодирования внутри IDE с низкой задержкой.
- 8WorkBuddy
Экономична для рутинной офисной автоматизации с умеренной точностью.
- 9OpenClaw
Альтернатива с открытым кодом: высокая настраиваемость, но ниже доли прохождения.
Источник ↗ - 10Antigravity
Специализирована на создании ПО, но ограничена в бизнес-процессах.