Строгий прохід і бал за оцінкою розповідають різні історії. GPT-6.2 Astra повністю проходить 47,5% довгих завдань, але в середньому набирає 78,3%, тож велика частина роботи отримує часткові бали, не пройшовши всіх перевірок.
Рейтинг ШІ-агентів для роботи 2026: топ-10 за реальними тестами завдань
Найкращий агент у Agents' Last Exam, GPT-6.2 Astra, повністю виконує лише 47,5% із 122 довгих професійних завдань. У бізнес-сценаріях Zapier більшість провалів — коли агенти звітують про успіх, а записи неправильні.
- №1: GPT-6.2 Astra (Codex)
- 10 місць
01Підсумковий список
Провідні ШІ незалежно склали свої списки з десяти місць. Нагорі — один підсумок, який легко перевірити: у кожного місця є причина, джерело та список ШІ, які його включили.
Порівнюйте частку виконання і бали на довгих професійних завданнях, зокрема часткові бали і строгі проходження.
Яскрава плашка — цей ШІ включив пункт у свій список. Тьмяна — не включив.
- 1
GPT-6.2 Astra (Codex)
Він має найвищий строгий прохід у довгому іспиті — 47,5% за 29 годин, проти 227 годин у Fable. Також проходить 52,4% бізнес-сценаріїв Zapier по $0,83 за завдання.
Увімкнули: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, Qwen. Не увімкнули: Claude, DeepSeek, Qianwen.У їхніх списках: ChatGPT: 1 · Meta: 2 · Grok: 1 · Gemini: 1 · MiMo: 1 · Kimi: 5 · Qwen: 2
Що відзначив кожен ШІ 7
- ChatGPTмісце 1
47,5% строгих заліків і 78,3% бальної оцінки при $3,05 за завдання і приблизно 14 хвилинах: майже половина завдань досі не проходить вимогу «все або нічого».
Джерело ↗ - Metaмісце 2
47,5% заліків у ALE v1.1 — найвища строга частка на сьогодні, за 29 годин замість 227.
Джерело ↗ - Grokмісце 1
Воно строго виконує 47,5% із 122 довгих професійних завдань за 29 годин. Такого результату Fable досягає лише за 227 годин.
- Geminiмісце 1
Лідирує в Agents' Last Exam v1.1 з часткою заліків 47,5% і балом 78,3% за 2,6 млн вихідних токенів, хоча користувачі досі відзначають надмірне ускладнення і неперевірені твердження.
Джерело ↗ - MiMoмісце 1
Перша модель, якій коли-небудь присвоїли рівень High за здатність до самовдосконалення, і все ще та, яку люди контролюють останньою.
Джерело ↗ - Kimiмісце 5
Має найвищий самозаявлений показник професійної роботи, 77,6% в ALE v1.1. Але це власний запуск лабораторії за критерієм максимальних зусиль, а не строга частка заліків, за якою оцінюють інших.
Джерело ↗ - Qwenмісце 2
Лідирує в Agents' Last Exam v1.1 з 47,5% строгих заліків і 78,3% бала, використовуючи 2,6 млн вихідних токенів.
Джерело ↗
7 ШІ поставили сюди - 2
Gemini 4 Carbon
Він близько до верху обох списків: 45,9% строго в довгому іспиті і 53,9% у сценаріях Zapier. Його частковий бал 77,4% приховує, що він провалює близько 54 із 100 довгих завдань.
Увімкнули: ChatGPT, Meta, Grok, Gemini, Claude, Kimi, DeepSeek. Не увімкнули: MiMo, Qwen, Qianwen.У їхніх списках: ChatGPT: 9 · Meta: 4 · Grok: 2 · Gemini: 3 · Claude: 1 · Kimi: 3 · DeepSeek: 1
Що відзначив кожен ШІ 7
- ChatGPTмісце 9
53,9% виконаних завдань — трохи позаду лідера закритого рейтингу, але це не пряме порівняння з професійними завданнями ALE на роботу з комп'ютером.
Джерело ↗ - Metaмісце 4
53,9% в AutomationBench — найкращий міжзастосунковий результат, і 10,9% у GDPx при третині вартості Opus за завдання.
- Grokмісце 2
Оцінка 77,4% на довгому іспиті, але строго провалює приблизно 54 з кожних 100 таких завдань.
- Geminiмісце 3
Показує частку заліків 45,9% і бал 77,4% в Agents' Last Exam v1.1, поєднуючи сильні часткові бали в складних процесах з детермінованими перевірками.
Джерело ↗ - Claudeмісце 1
Воно лідирує в Agents' Last Exam v1.1 з 45,9% строгих заліків і 77,4% бала та проходить 53,9% завдань AutomationBench по $2,12 кожне.
- Kimiмісце 3
Чемпіон найсуворішого оцінювача процесів: 53,9% в AutomationBench — найвища частка заліків, яку Zapier зафіксувала на 657 реальних бізнес-завданнях.
- DeepSeekмісце 1
Лідирує в ALE з 45,9% строгих заліків і 77,4% бала, але досі провалює найскладніший рівень у 100% випадків.
Джерело ↗
7 ШІ поставили сюди - 3
Claude Fable 5.2 (Claude Code)
Його 46,9% проходження довгого іспиту не враховує 9 завдань зі зниженою оцінкою, а виконувався він 227 годин — найважчий запуск. Проходить 51,4% сценаріїв Zapier, але по $4,64 за завдання.
Увімкнули: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Qwen. Не увімкнули: Claude, Qianwen.У їхніх списках: ChatGPT: 6 · Meta: 3 · Grok: 7 · Gemini: 2 · MiMo: 2 · Kimi: 4 · DeepSeek: 2 · Qwen: 1
Що відзначив кожен ШІ 8
- ChatGPTмісце 6
43,4% строгих заліків коштують $60,05 і займають дві години на завдання в показаному запуску: майже на рівні частки лідера, але майже у 20 разів дорожче.
Джерело ↗ - Metaмісце 3
46,9% у ALE v1.1 і перше місце в Intelligence Index після 227 годин роботи агентів.
Джерело ↗ - Grokмісце 7
Частка заліків 46,9% не враховує 9 завдань, а запуск усе одно тривав 227 годин і коштував $4,64 за процес.
- Geminiмісце 2
Має частку заліків 46,9% і бал 72,8% в Agents' Last Exam v1.1 (усереднення без 9 понижених завдань), але вимагає ретельного контролю вартості й перевірки.
Джерело ↗ - MiMoмісце 2
Ціновий паритет з Astra приблизно на $8, і гонку бенчмарків тепер вирішують центи, а не розум.
Джерело ↗ - Kimiмісце 4
Удвічі перевершила попередника в одному релізі, з 22,4% до 51,4% в AutomationBench. Робить 96,9 викликів інструментів на завдання, при $9,01 за фактичний залік на максимальних зусиллях.
- DeepSeekмісце 2
Виконує 41,25% реальних фріланс-завдань, більш ніж удвічі більше, ніж Opus 5.5, при $15,70+ за завдання ALE.
- Qwenмісце 1
Очолює SWE-bench Verified з 95% і найкращу межу Парето Арени для реальної роботи при $11,32 за завдання.
Джерело ↗
8 ШІ поставили сюди - 4
Gemini 4 Neon
Він лідирує в офіційному рейтингу сценаріїв Zapier — 56,3% по $1,69 за завдання. У довгому професійному іспиті результату немає, тож його тестували лише за одним рейтингом.
Увімкнули: ChatGPT, Grok, Gemini, Claude, Qwen. Не увімкнули: Meta, MiMo, Kimi, DeepSeek, Qianwen.У їхніх списках: ChatGPT: 2 · Grok: 4 · Gemini: 4 · Claude: 5 · Qwen: 5
Що відзначив кожен ШІ 5
- ChatGPTмісце 2
56,3% строгого виконання на закритому наборі робочих процесів Zapier — найкращий результат у поточному списку моделей, але завдання зараховується, лише коли фінальний стан кожного застосунку правильний.
Джерело ↗ - Grokмісце 4
Воно виконує 56,32% закритих процесів Zapier за $1,69, а довгий професійний іспит його не вказує.
- Geminiмісце 4
Очолює AutomationBench-AA з 79,3% і 94% виконаних цілей у бізнес-процесах між застосунками, але для дій з високими ставками досі потрібні обмеження й перевірка людиною.
Джерело ↗ - Claudeмісце 5
Воно очолює AutomationBench з 56,3% за $1,69 за завдання, дешевше за завдання, ніж Carbon.
Джерело ↗ - Qwenмісце 5
Очолює незалежний рейтинг Artificial Analysis AutomationBench-AA з 79,3% на симульованих SaaS-процесах.
Джерело ↗
5 ШІ поставили сюди - 5
Qwen 4 (Codex harness)
Проходить 46,7% довгого іспиту, на десяту частку бала позаду Fable, але потребує 185 годин. Його запускала стороння команда, а цифр за сценаріями чи вартістю не опубліковано.
Увімкнули: Meta, Grok, Gemini. Не увімкнули: ChatGPT, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen.У їхніх списках: Meta: 8 · Grok: 5 · Gemini: 5
Що відзначив кожен ШІ 3
- Metaмісце 8
46,7% у ALE v1.1 — третє місце одразу за передовими моделями, при значно меншій опублікованій вартості й доказах контролю.
Джерело ↗ - Grokмісце 5
Строга частка 46,7%, на одну десяту пункту позаду головного показника Fable, за 185 годин.
Джерело ↗ - Geminiмісце 5
Змагається у верхньому ешелоні Agents' Last Exam v1.1 поряд із Qwen 4, який має частку заліків 46,7% і бал 74,4% у перевірюваних професійних процесах.
Джерело ↗
3 ШІ поставили сюди - 6
Kimi 3.1 Pro (Kimi Code)
Він збігається з 43,4% проходження довгого іспиту у Opus 5.5, але за 61 годину замість 177, використовуючи 8,5 млн вихідних токенів проти 21,5 млн. Це вибір за ефективністю серед найближчих лідерів.
Увімкнули: ChatGPT, Grok, Gemini, Claude, DeepSeek. Не увімкнули: Meta, MiMo, Kimi, Qwen, Qianwen.У їхніх списках: ChatGPT: 7 · Grok: 3 · Gemini: 6 · Claude: 4 · DeepSeek: 5
Що відзначив кожен ШІ 5
- ChatGPTмісце 7
43,4% строгих заліків при $7 за завдання і приблизно 30 хвилинах — та сама частка, що й у дорожчих передових запусків цього рейтингу.
Джерело ↗ - Grokмісце 3
Та сама строга частка 43,4%, що й у Opus, за третину годин і з 8,5 млн токенів проти 21,5 млн.
Джерело ↗ - Geminiмісце 6
Дає найкращу в обв'язці Kimi Code частку заліків 43,4% і бал 74,4% на 8,5 млн вихідних токенів, — значно менше, ніж 21,5 млн токенів у Claude Opus 5.5.
Джерело ↗ - Claudeмісце 4
Модель із родини з відкритими вагами зрівнялася з Opus 5.5 — 43,4% в ALE v1.1, тоді як її родич Kimi K3 посідає 12-те місце в AutomationBench з 22,7%.
Джерело ↗ - DeepSeekмісце 5
43,4% заліків в ALE за 61 годину, швидше, ніж Opus 5.5 і Fable 5.2 при схожих результатах.
Джерело ↗
5 ШІ поставили сюди - 7
Gemini 4 Hydrogen (Antigravity CLI)
Найкращий вибір за ціною: 51,1% сценаріїв Zapier по $0,82 за завдання, а при $0,18 — все ще 30,6%. Також проходить 43,4% довгого іспиту.
Увімкнули: Grok, Kimi. Не увімкнули: ChatGPT, Meta, Gemini, Claude, MiMo, DeepSeek, Qwen, Qianwen.У їхніх списках: Grok: 9 · Kimi: 6
Що відзначив кожен ШІ 2
- Grokмісце 9
Бізнес-процеси коштують $0,82 при строгій частці 51,14%, тоді як довгий іспит витрачає 25,5 млн токенів, щоб дійти до 43,4%.
- Kimiмісце 6
Межа цінності: 51,1% в AutomationBench за $0,82 за завдання, а на низьких зусиллях вона все одно проходить 30,6% за $0,18. Ніщо з тестованого не є одночасно дешевшим і точнішим.
2 ШІ поставили сюди - 8
Claude Opus 5.5 (Claude Code)
Він проходить 43,4% довгого іспиту за 177 годин і 21,5 млн токенів, а також 42,5% сценаріїв Zapier по $1,44. Його 38,2% за старішим рейтингом — з іншого набору завдань.
Увімкнули: ChatGPT, Meta, Grok, Claude, Kimi, DeepSeek, Qwen. Не увімкнули: Gemini, MiMo, Qianwen.У їхніх списках: ChatGPT: 10 · Meta: 1 · Grok: 8 · Claude: 2 · Kimi: 1 · DeepSeek: 4 · Qwen: 4
Що відзначив кожен ШІ 7
- ChatGPTмісце 10
50,3% на публічному наборі Zapier із 600 завдань, але Zapier попереджає, що її офіційні закриті оцінки можуть відрізнятися.
Джерело ↗ - Metaмісце 1
Лідирує в найскладнішому професійному тесті з 12%, але досі провалює 88%, при $51,41 за завдання.
Джерело ↗ - Grokмісце 8
Строгий залік 43,4% і оцінка 71,6% після 177 годин і 21,5 млн вихідних токенів.
Джерело ↗ - Claudeмісце 2
Воно ділить друге місце в ALE v1.1 з 43,4%, але в AutomationBench дає 29,5% при $0,65 за завдання на середньому режимі та 42,5% на максимальному. Велика різниця залежно від налаштування.
Джерело ↗ - Kimiмісце 1
Лідирує на найсуворішому іспиті з професійної роботи (38,2% заліків, 63,2% бала в Agents' Last Exam) і в GDPval-AA (68,3%), за $1 340 і 183 години обчислень.
Джерело ↗ - DeepSeekмісце 4
Найкращий у професійних завданнях DAYJOB на 13–17 годин: 24,7% у сфері охорони здоров'я, але 177 годин в ALE.
Джерело ↗ - Qwenмісце 4
Дає 97% в SWE-bench Verified (з Mini-SWE-agent), коштуючи лише $8,06 за завдання в рейтингу роботи Арени.
Джерело ↗
7 ШІ поставили сюди - 9
GPT-6.2 Sol (Codex)
Він поступається Astra приблизно на шість пунктів, проходячи 41,8% довгого іспиту, але фінішує за 32 години з 3,1 млн токенів. Бала за рейтингом сценаріїв не опубліковано.
Увімкнули: Grok, MiMo. Не увімкнули: ChatGPT, Meta, Gemini, Claude, Kimi, DeepSeek, Qwen, Qianwen.У їхніх списках: Grok: 6 · MiMo: 3
Що відзначив кожен ШІ 2
- Grokмісце 6
Воно поступається Astra шістьма пунктами частки заліків, але все одно проходить довгий іспит за 32 години.
Джерело ↗ - MiMoмісце 3
Майже зрівнюється з флагманом на реальних кодових базах при п'ятій частині вартості — найвигідніша пропозиція запуску за співвідношенням ціни й продуктивності.
Джерело ↗
2 ШІ поставили сюди - 10
Gemini 4 Argon
Він проходить 51,3% сценаріїв Zapier по $1,70 за публічним прайсом, але лише 40,2% довгого іспиту. У жовтні він очолював рейтинг сценаріїв, поки Neon його не обійшов.
Увімкнули: Meta, Grok, Claude, DeepSeek. Не увімкнули: ChatGPT, Gemini, MiMo, Kimi, Qwen, Qianwen.У їхніх списках: Meta: 5 · Grok: 10 · Claude: 8 · DeepSeek: 6
Що відзначив кожен ШІ 4
- Metaмісце 5
51,3% в AutomationBench, 337 з 657 процесів, за $1,70 за завдання.
- Grokмісце 10
Ціна за списком — $1,70 за процес при строгій частці 51,29%, а частка заліків у довгому іспиті — 40,2%.
- Claudeмісце 8
Воно набирає 40,2% в ALE v1.1 і також виходить на першість в одному повторному знімку AutomationBench 1.0.6 з 51,3%.
Джерело ↗ - DeepSeekмісце 6
51,3% строгих заліків в AutomationBench при $1,70 за завдання — найкращий агент для процесів між застосунками.
Джерело ↗
4 ШІ поставили сюди
02Варто знати
Що помітили ШІ, поки складали список.
Провали схожі на успіхи: Zapier повідомляє, що агент заявляв про успіх, коли записи були неправильні, у 91% провалів Gemini, 84% провалів GPT-5.4 і 72% провалів Opus.
Схожий відсоток проходження може коштувати один день або тиждень машинного часу. Astra з 47,5% витратив 29 годин, а Fable 5.2 з 46,9% на наборі без 9 завдань — 227 годин.
Кожна модель, оцінена на AutomationBench-AA, порушила бізнес-обмеження: від 0,46 до 1,26 порушення на завдання, тож перевірка людиною є обов’язковою.
Epoch AI визнала Agents' Last Exam v1.1 хибним: у вибірці 22 із 50 завдань можна було отримати повний бал без потрібної роботи. Сприймайте бали як доказ, а не як гарантію надійності.
03Як рахували
Простими словами, без формул.
1Питання
Топ-10 ШІ-агентів для професійної роботи: результати завдань, вартість і людський контроль
2Чому ця тема
Читач бачить виміряні результати завдань разом із вартістю, тривалістю і потребою в людській перевірці — компроміси, які не відображає жоден окремий тест.
3Де це застосовно
Глобальні системи ШІ-агентів, зосереджені на довгих і перевірюваних професійних процесах
4На що дивилися
- Порівнюйте частку виконання і бали на довгих професійних завданнях, зокрема часткові бали і строгі проходження.
- Співставляйте результати з вартістю, тривалістю і потрібною людською перевіркою, виправленням або перехопленням, щоб довіряти результату.
- Agents' Last Exam v1.1 (UC Berkeley RDI, Фонд RDI, Snorkel AI) — Частка строгих проходжень і бал з частковими балами на 122 публічних довгих завданнях у 55 підгалузях, з тривалістю та вихідн
- Zapier AutomationBench 1.0.6 — Строге виконання міжзастосункових бізнес-сценаріїв на прихованому тестовому наборі (47 змодельованих застосунків, шість функцій), з вартістю за завдання. Кожна перевірка має пройти.
- Artificial Analysis AutomationBench-AA — Незалежний повторний запуск на 657 закритих завданнях Zapier: виконання цілі з безпечним дотриманням правил (часткові бали) плюс строге проходження. Кожна модель порушує бізнес-правила, з
- Огляд Agents' Last Exam від Epoch AI — Аудит самого тесту: у вибірці 22 із 50 завдань дозволяли повний бал без потрібної роботи.
5Хто ставив місця
Провідні ШІ: ChatGPT, Meta, Grok, Gemini, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen. Кожен сам склав свій список із десяти місць і до кожного місця назвав джерело.
6Як зведено місця
Те саме, назване різними ШІ по-різному, рахували як одне. Що більше ШІ включили пункт до свого списку і що вище поставили, то вище його місце. «Згода ШІ» показує, у скількох ШІ цей пункт був у власному списку. Джерела — лише ті, що знайшли самі ШІ, нічого не додано вручну.
04Список кожного ШІ окремо
🇺🇸 ChatGPT10 місць · нотаток: 4
Те саме питання, відповідь одного ШІ — ChatGPT. Підсумковий список вище об'єднує всі ШІ.
- 1GPT-6.2 Astra — Agents' Last Exam v1.1
47,5% строгих заліків і 78,3% бальної оцінки при $3,05 за завдання і приблизно 14 хвилинах: майже половина завдань досі не проходить вимогу «все або нічого».
Джерело ↗ - 2Gemini 4 Neon — AutomationBench (Zapier)
56,3% строгого виконання на закритому наборі робочих процесів Zapier — найкращий результат у поточному списку моделей, але завдання зараховується, лише коли фінальний стан кожного застосунку правильний.
Джерело ↗ - 3GPT-6.2 Astra — AutomationBench (Zapier)
52,4% строгих проходжень процесів у тому самому закритому рейтингу; окремий результат ALE за $3,05 за завдання дає другу, не цілком порівнянну цифру.
Джерело ↗ - 4GPT-6.2 Astra — AutomationBench-AA
Artificial Analysis оцінює 657 завдань, створених Zapier, і 22 822 твердження. Вона показує часткове виконання цілей поряд зі строгими заліками, а не зводить кожне завдання до простого «виконано».
Джерело ↗ - 5GPT-6.2 Astra — Remote Labor Index
Посідає високі місця в симульованих тестах робочих процесів, але бенчмарк Scale AI з фріланс-проєктами, який оцінюють експерти, потрібен як перевірка проти акуратних завдань у пісочниці.
Джерело ↗ - 6Claude Fable 5.2 Max — Agents' Last Exam v1.1
43,4% строгих заліків коштують $60,05 і займають дві години на завдання в показаному запуску: майже на рівні частки лідера, але майже у 20 разів дорожче.
Джерело ↗ - 7Kimi K3.1 Pro Max — Agents' Last Exam v1.1
43,4% строгих заліків при $7 за завдання і приблизно 30 хвилинах — та сама частка, що й у дорожчих передових запусків цього рейтингу.
Джерело ↗ - 8Claude Opus 5.5 Max — Agents' Last Exam v1.1
43,4% строгих заліків при $17,57 за завдання і 87 хвилинах — нижче за частку найкращого запуску, при суттєво вищій заявленій вартості.
Джерело ↗ - 9Gemini 4 Carbon — AutomationBench (Zapier)
53,9% виконаних завдань — трохи позаду лідера закритого рейтингу, але це не пряме порівняння з професійними завданнями ALE на роботу з комп'ютером.
Джерело ↗ - 10Claude Opus 5 — AutomationBench public benchmark
50,3% на публічному наборі Zapier із 600 завдань, але Zapier попереджає, що її офіційні закриті оцінки можуть відрізнятися.
Джерело ↗
Що помітив ChatGPT
Строгий залік і бальна оцінка розповідають різні історії: запуск GPT-6.2 Astra в ALE має 47,5% повних заліків, але середню оцінку 78,3%. Тобто багато запусків отримали часткові бали, не виконавши кожну вимогу критерію.
В AutomationBench найвища показана частка на закритому наборі — 56,3%, тоді як публічний репозиторій Zapier дає 50,3% для найкращої моделі в публічному наборі. Різні набори пояснюють, чому ці цифри не слід зводити разом.
Рейтинги за вартістю можуть перевернути уявлену перевагу: один запуск ALE для Claude Fable 5.2 Max коштував $60,05 і тривав дві години для 43,4% строгих заліків, тоді як GPT-6.2 Astra дав 47,5% за $3,05 і приблизно 14 хвилин.
Перевірка бенчмарка виявила серйозні слабкості оцінювання у вибірці завдань ALE: за даними Epoch AI, 22 з 50 вибраних завдань давали повний залік без потрібної роботи. Це причина сприймати рейтинги як докази, а не як гарантії надійності на роботі.
🇺🇸 Meta10 місць · нотаток: 3
Те саме питання, відповідь одного ШІ — Meta. Підсумковий список вище об'єднує всі ШІ.
- 1Claude Opus 5.5 (Max) – Claude Code
Лідирує в найскладнішому професійному тесті з 12%, але досі провалює 88%, при $51,41 за завдання.
Джерело ↗ - 2GPT-6.2 Astra (Max) – Codex
47,5% заліків у ALE v1.1 — найвища строга частка на сьогодні, за 29 годин замість 227.
Джерело ↗ - 3Claude Fable 5.2 (Max) – Claude Code
46,9% у ALE v1.1 і перше місце в Intelligence Index після 227 годин роботи агентів.
Джерело ↗ - 4Gemini 4 Carbon (High)
53,9% в AutomationBench — найкращий міжзастосунковий результат, і 10,9% у GDPx при третині вартості Opus за завдання.
- 5Gemini 4 Argon (High)
51,3% в AutomationBench, 337 з 657 процесів, за $1,70 за завдання.
- 6GPT-6 Astra (Max) – Codex
9,6% у GDPx і 41,4% в AutomationBench — сильно, але на крок нижче за наступника 6.2 в обох.
Джерело ↗ - 7Claude Sonnet 5.5 (Max)
44,7% в AutomationBench — практичний Claude для рутинної роботи між застосунками, $1,14 за завдання.
- 8Qwen 4
46,7% у ALE v1.1 — третє місце одразу за передовими моделями, при значно меншій опублікованій вартості й доказах контролю.
Джерело ↗ - 9GPT-6.1 Terra (Max)
60,0% за оцінкою в ALE при $1,01 за завдання — у дев'ять разів дешевше за Opus 5.5 за п'ять пунктів менше.
Джерело ↗ - 10GitHub Copilot Fusion (Max)
71,2% у Terminal-Bench, найкращий результат у терміналі, але завдання в терміналі — не загальна професійна робота.
Джерело ↗
Що помітив Meta
Найкращий агент у GDPx досі провалює 88% експертних завдань, а в ранніх звітах цього бенчмарка кожна модель набрала нуль у фінансах і праві.
Вартість переставляє рейтинг: Fable 5.2 потребувала 227 годин у ALE v1.1, тоді як GPT-6.2 Astra — 29 годин при вищій частці заліків.
Горизонт METR подвоюється приблизно кожні 130 днів від 2023 року, але горизонт 80% надійності значно коротший за горизонт 50%. Тож надійна довга робота відстає від гучних заявлених довгих завдань.
🇺🇸 Grok10 місць · нотаток: 3
Те саме питання, відповідь одного ШІ — Grok. Підсумковий список вище об'єднує всі ШІ.
- 1GPT-6.2 Astra
Воно строго виконує 47,5% із 122 довгих професійних завдань за 29 годин. Такого результату Fable досягає лише за 227 годин.
- 2Gemini 4 Carbon
Оцінка 77,4% на довгому іспиті, але строго провалює приблизно 54 з кожних 100 таких завдань.
- 3Kimi 3.1 Pro
Та сама строга частка 43,4%, що й у Opus, за третину годин і з 8,5 млн токенів проти 21,5 млн.
Джерело ↗ - 4Gemini 4 Neon
Воно виконує 56,32% закритих процесів Zapier за $1,69, а довгий професійний іспит його не вказує.
- 5Qwen 4
Строга частка 46,7%, на одну десяту пункту позаду головного показника Fable, за 185 годин.
Джерело ↗ - 6GPT-6.2 Sol
Воно поступається Astra шістьма пунктами частки заліків, але все одно проходить довгий іспит за 32 години.
Джерело ↗ - 7Claude Fable 5.2
Частка заліків 46,9% не враховує 9 завдань, а запуск усе одно тривав 227 годин і коштував $4,64 за процес.
- 8Claude Opus 5.5
Строгий залік 43,4% і оцінка 71,6% після 177 годин і 21,5 млн вихідних токенів.
Джерело ↗ - 9Gemini 4 Hydrogen
Бізнес-процеси коштують $0,82 при строгій частці 51,14%, тоді як довгий іспит витрачає 25,5 млн токенів, щоб дійти до 43,4%.
- 10Gemini 4 Argon
Ціна за списком — $1,70 за процес при строгій частці 51,29%, а частка заліків у довгому іспиті — 40,2%.
Що помітив Grok
Найкращий строгий результат на довгому професійному іспиті досі промахується на більшості завдань: GPT-6.2 Astra проходить 47,5% із 122, тож людині доведеться або закінчити решту, або відкинути її.
Схожа частка заліків на довгому іспиті може коштувати тиждень машинного часу або один день. 47,5% Astra зайняли 29 годин і 2,6 млн вихідних токенів; 46,9% Fable 5.2 на наборі без 9 завдань — 227 годин і 28,2 млн.
У червні Каліфорнійський університет у Берклі повідомив, що кожен передовий агент, якого він перевіряв, зокрема Fable 5, набрав 0% на найскладнішому рівні, а найкращий загальний результат був близько 26%. Жовтневий рейтинг — інший, менший публічний набір.
🇺🇸 Gemini10 місць · нотаток: 3
Те саме питання, відповідь одного ШІ — Gemini. Підсумковий список вище об'єднує всі ШІ.
- 1Codex + GPT-6.2 Astra
Лідирує в Agents' Last Exam v1.1 з часткою заліків 47,5% і балом 78,3% за 2,6 млн вихідних токенів, хоча користувачі досі відзначають надмірне ускладнення і неперевірені твердження.
Джерело ↗ - 2Claude Code + Fable 5.2
Має частку заліків 46,9% і бал 72,8% в Agents' Last Exam v1.1 (усереднення без 9 понижених завдань), але вимагає ретельного контролю вартості й перевірки.
Джерело ↗ - 3ALE-Claw + Gemini 4 Carbon
Показує частку заліків 45,9% і бал 77,4% в Agents' Last Exam v1.1, поєднуючи сильні часткові бали в складних процесах з детермінованими перевірками.
Джерело ↗ - 4Gemini 4 Neon (Xhigh)
Очолює AutomationBench-AA з 79,3% і 94% виконаних цілей у бізнес-процесах між застосунками, але для дій з високими ставками досі потрібні обмеження й перевірка людиною.
Джерело ↗ - 5Codex + Qwen4-Max
Змагається у верхньому ешелоні Agents' Last Exam v1.1 поряд із Qwen 4, який має частку заліків 46,7% і бал 74,4% у перевірюваних професійних процесах.
Джерело ↗ - 6Kimi Code + Kimi 3.1 Pro
Дає найкращу в обв'язці Kimi Code частку заліків 43,4% і бал 74,4% на 8,5 млн вихідних токенів, — значно менше, ніж 21,5 млн токенів у Claude Opus 5.5.
Джерело ↗ - 7Claude Opus 5
Лідирує в публічному AutomationBench з виконанням SaaS-завдань: 50,3% частки заліків на максимальних зусиллях у продажах, маркетингу, операціях, підтримці, фінансах і HR.
Джерело ↗ - 8Antigravity CLI
Досягає найвищої частки заліків 43,4% в Agents' Last Exam v1.1, демонструючи конкурентну оркестрацію обв'язки агентів на багатоетапних завданнях.
Джерело ↗ - 9Muse Code
Має найвищу частку заліків 38,5% в Agents' Last Exam v1.1, поступаючись кращим обв'язкам у строгому повному виконанні завдань і потребуючи перевірки людиною у спірних випадках.
Джерело ↗ - 10OpenClaw
Показує найвищу частку заліків 36,1% в Agents' Last Exam v1.1: корисна здатність до автоматизації, але значний простір для перевірки й виправлення людиною.
Джерело ↗
Що помітив Gemini
Навіть найвища частка заліків в Agents' Last Exam v1.1 (47,5%) залишає понад половину з 122 завдань нерозв'язаними, а складніші рівні історично мали середню повну частку заліків нижче за 1%.
Вартість токенів і час роботи сильно відрізняються залежно від моделі й обв'язки: наприклад, Kimi 3.1 Pro набирає 74,4% на 8,5 млн вихідних токенів, проти 21,5 млн у Opus 5.5. Легкі обв'язки можуть знизити витрати на 41% без суттєвої втрати якості.
Звіт Zapier за листопад 2026 року показує, що 45% керівників обмежують людський контроль над ШІ лише роботою з високими ставками, або взагалі його не передбачають. Водночас агенти досі припускаються помилок, які потребують перевірки людиною.
🇺🇸 Claude10 місць · нотаток: 4
Те саме питання, відповідь одного ШІ — Claude. Підсумковий список вище об'єднує всі ШІ.
- 1Gemini 4 Carbon (Google)
Воно лідирує в Agents' Last Exam v1.1 з 45,9% строгих заліків і 77,4% бала та проходить 53,9% завдань AutomationBench по $2,12 кожне.
- 2Claude Opus 5.5 (Anthropic)
Воно ділить друге місце в ALE v1.1 з 43,4%, але в AutomationBench дає 29,5% при $0,65 за завдання на середньому режимі та 42,5% на максимальному. Велика різниця залежно від налаштування.
Джерело ↗ - 3GPT-6 Astra (OpenAI)
Воно набирає 42,6% в ALE v1.1, а в AutomationBench — від 30,3% на низьких зусиллях ($1,08 за завдання) до 41,4% на максимальних.
Джерело ↗ - 4Kimi 3.1 Pro / K3.1 (Moonshot)
Модель із родини з відкритими вагами зрівнялася з Opus 5.5 — 43,4% в ALE v1.1, тоді як її родич Kimi K3 посідає 12-те місце в AutomationBench з 22,7%.
Джерело ↗ - 5Gemini 4 Neon (Google)
Воно очолює AutomationBench з 56,3% за $1,69 за завдання, дешевше за завдання, ніж Carbon.
Джерело ↗ - 6GPT-5.5 with Codex (OpenAI)
Воно очолювало початковий Agents' Last Exam з 24,0% строгих заліків, а в пізніших публікаціях Codex згадується з 26%.
Джерело ↗ - 7Claude Fable 5 with Claude Code (Anthropic)
Воно посіло третє місце в початковому ALE з 22,0%, позаду двох конфігурацій GPT-5.5.
Джерело ↗ - 8Gemini 4 Argon (Google)
Воно набирає 40,2% в ALE v1.1 і також виходить на першість в одному повторному знімку AutomationBench 1.0.6 з 51,3%.
Джерело ↗ - 9Claude Sonnet 5.5 (Anthropic)
Один агрегатор вказує 60,4% в ALE v1.1, але його стовпець схожий на бал, а не на частку заліків.
Джерело ↗ - 10Muse Wonder 1.0
Воно йде за верхньою групою в ALE v1.1 з часткою заліків 38,5%.
Джерело ↗
Що помітив Claude
Та сама родина агентів може набрати близько 30% або 42% в AutomationBench залежно від налаштування зусиль, тож налаштування важить не менше, ніж модель.
У першому Agents' Last Exam середня строга частка заліків на найскладнішому рівні становила 2,6%, а більшість моделей, зокрема GPT-5.5 і Fable 5, набрали нуль.
Строгий залік і бальна оцінка показують, наскільки багато приховують часткові бали: Gemini 4 Carbon повністю проходить 45,9% завдань ALE v1.1, але в середньому має 77,4%.
Повідомлене випробування KPMG зі понад 100 агентами в реальному аудиті все ж потребувало виправлення людиною. Це реальний аналог цих бенчмарк-оцінок.
🇨🇳 MiMo10 місць · нотаток: 4
Те саме питання, відповідь одного ШІ — MiMo. Підсумковий список вище об'єднує всі ШІ.
- 1GPT-6.2 Astra (OpenAI, 2026)
Перша модель, якій коли-небудь присвоїли рівень High за здатність до самовдосконалення, і все ще та, яку люди контролюють останньою.
Джерело ↗ - 2Claude Fable 5.2 (Anthropic, 2026)
Ціновий паритет з Astra приблизно на $8, і гонку бенчмарків тепер вирішують центи, а не розум.
Джерело ↗ - 3GPT-6.2 Sol (OpenAI, 2026)
Майже зрівнюється з флагманом на реальних кодових базах при п'ятій частині вартості — найвигідніша пропозиція запуску за співвідношенням ціни й продуктивності.
Джерело ↗ - 4EY multi-agent audit framework (EY Canvas)
Перемагає найнудніший вид агента: він вбудований у програми, якими аудитори вже користуються.
Джерело ↗ - 5KPMG audit agent swarm (Project Exponential)
Понад 100 агентів на кожному етапі аудиту, і одне виправлення людиною є найціннішим показником у галузі.
Джерело ↗ - 6KPMG Clara Intelligence agents (US)
Керовані агенти з «human-assured» у назві продукту: контроль як маркетинговий аргумент.
Джерело ↗ - 7PwC AI Agent Operating System
Шар оркестрації, а не агент: інфраструктура, до якої інші підключатимуть перевірювані агенти.
Джерело ↗ - 8AutomationBench agent harness (Zapier, benchmark)
47 реальних інструментів і навмисно неоднозначні завдання — найближче до репетиції офісної роботи.
- 9Agents' Last Exam harness (UC Berkeley RDI)
Єдиний публічний тест, що оцінює цілі багатоденні професійні роботи з прихованими відповідями, а не окремі питання.
- 10KPMG Ignite Financial Assistant (Workday/Google Cloud)
Асистент для закриття місяця: вузький, перевірюваний і ближчий до реальної фінансової роботи, ніж більшість демо.
Джерело ↗
Що помітив MiMo
Новою гонкою стає вартість готової роботи, а не розумність: Astra коштує менше третини попередника за завдання, а Sol зрівнюється з флагманом на реальних кодових базах за п'яту частину ціни.
Найважливіша для безпеки цифра запуску — не бал, а рейтинг: Astra — перша модель, якій присвоєно рівень High за здатність до самовдосконалення.
Бенчмарки і реальність розходяться не випадково: Agents' Last Exam і AutomationBench оцінюють симульовані завдання, а єдине повне реальне професійне випробування (KPMG) потребувало виправлення людиною.
Незалежний рейтинг (AutomationBench-AA) існує саме тому, що творець бенчмарка сам продає агентів. Це модель управління, яку копіюють інші лабораторії.
🇨🇳 Kimi10 місць · нотаток: 3
Те саме питання, відповідь одного ШІ — Kimi. Підсумковий список вище об'єднує всі ШІ.
- 1Claude Opus 5.5 (Claude Code)
Лідирує на найсуворішому іспиті з професійної роботи (38,2% заліків, 63,2% бала в Agents' Last Exam) і в GDPval-AA (68,3%), за $1 340 і 183 години обчислень.
Джерело ↗ - 2GPT-6 Astra (Codex harness)
Друге місце в Agents' Last Exam (34,2%) з найкращим результатом у класі для роботи з комп'ютером (72,6% у OSWorld 2.0, ~40 хв на завдання) і вдвічі дешевшим за завдання кодуванням, ніж у Claude, при тому самому індексі.
Джерело ↗ - 3Gemini 4 Carbon
Чемпіон найсуворішого оцінювача процесів: 53,9% в AutomationBench — найвища частка заліків, яку Zapier зафіксувала на 657 реальних бізнес-завданнях.
- 4Claude Fable 5.2 (with default fallbacks)
Удвічі перевершила попередника в одному релізі, з 22,4% до 51,4% в AutomationBench. Робить 96,9 викликів інструментів на завдання, при $9,01 за фактичний залік на максимальних зусиллях.
- 5GPT-6.2 Astra
Має найвищий самозаявлений показник професійної роботи, 77,6% в ALE v1.1. Але це власний запуск лабораторії за критерієм максимальних зусиль, а не строга частка заліків, за якою оцінюють інших.
Джерело ↗ - 6Gemini 4 Hydrogen
Межа цінності: 51,1% в AutomationBench за $0,82 за завдання, а на низьких зусиллях вона все одно проходить 30,6% за $0,18. Ніщо з тестованого не є одночасно дешевшим і точнішим.
- 7Claude Sonnet 5.5
Перевершує свого більшого родича Opus 5.5 в AutomationBench (44,6% проти 40,0%) за частку вартості, — найочевидніший доказ того, що ціна не передбачає результат.
- 8GPT-6 Sol
Робоча конячка за цінністю: 32,2% строгих заліків в Agents' Last Exam за $318 разом (проти $1 100 у Astra) і ~80% результату Astra в AutomationBench приблизно за шосту частину вартості.
- 9MiniMax M3.1 Flash
Руйнівник цін: 29,6% в Agents' Last Exam за $91,44 разом, близько 7% того, що витратив лідер, і він стрибає до 46,3% на завданнях середнього рівня бенчмарка.
Джерело ↗ - 10Kimi K3
Найкращий пакет агента з відкритими вагами на іспиті з професійної роботи (28,3% строгих заліків у власній обв'язці Kimi Code) і $0,43 за завдання в AutomationBench.
Джерело ↗
Що помітив Kimi
Найскладніша робота досі не зачеплена: на найскладнішому рівні Agents' Last Exam, де завдання потребують експертам-людям днів або тижнів, кожен протестований передовий агент, зокрема тогочасні найновіші флагмани, набрав 0%. Найвища частка заліків рейтингу, ~38%, стосується повного набору завдань, а не складного краю.
На вершині гроші купують напрочуд мало: вартість запусків ALE відрізняється на порядок (близько $1,33–$15,70 за завершене завдання в червневому прогоні), а MiniMax M3.1 Flash досягає ~77% строгої частки заліків лідера приблизно за 7% його загальних витрат ($91 проти $1 340).
Строгі частки заліків тримають усіх у скромності: найкращий результат на AutomationBench із 657 завданнями — 53,9%, а в симульованому офісі TheAgentCompany найсильніша модель повністю виконує лише близько 30% професійних завдань. «Корисні агенти вже є; агентів, готових до роботи, — ще ні».
🇨🇳 DeepSeek10 місць · нотаток: 3
Те саме питання, відповідь одного ШІ — DeepSeek. Підсумковий список вище об'єднує всі ШІ.
- 1Gemini 4 Carbon (ALE-Claw)
Лідирує в ALE з 45,9% строгих заліків і 77,4% бала, але досі провалює найскладніший рівень у 100% випадків.
Джерело ↗ - 2Claude Fable 5.2 / 5.1 (Claude Code)
Виконує 41,25% реальних фріланс-завдань, більш ніж удвічі більше, ніж Opus 5.5, при $15,70+ за завдання ALE.
- 3GPT-6 Astra (Codex)
42,6% заліків в ALE за 80 годин і 5,1 млн токенів — лідер ефективності серед агентів топ-трійки ALE.
Джерело ↗ - 4Claude Opus 5.5 (Claude Code)
Найкращий у професійних завданнях DAYJOB на 13–17 годин: 24,7% у сфері охорони здоров'я, але 177 годин в ALE.
Джерело ↗ - 5Kimi 3.1 Pro (Kimi Code)
43,4% заліків в ALE за 61 годину, швидше, ніж Opus 5.5 і Fable 5.2 при схожих результатах.
Джерело ↗ - 6Gemini 4 Argon (ALE-Claw)
51,3% строгих заліків в AutomationBench при $1,70 за завдання — найкращий агент для процесів між застосунками.
Джерело ↗ - 7GPT-6 Sol (Codex)
33,2% заліків в AutomationBench при $0,27 за завдання — найдешевший достовірний агент для процесів.
Джерело ↗ - 8Claude Sonnet 5.5
44,7% строгих заліків в AutomationBench при $1,14 — на 6,6 пункту позаду лідера, але на 33% дешевше.
Джерело ↗ - 9Gemini 3.5 Flash
42,6% в AutomationBench-AA при $0,49 за завдання і 0,46 порушення обмежень на завдання — найдешевший відносно безпечний варіант.
Джерело ↗ - 10DeepSeek V4.1 Flash (OpenClaw)
36,1% заліків в ALE за 76 годин — варіант з відкритими вагами з частковим балом 65,4%.
Джерело ↗
Що помітив DeepSeek
Найскладніший рівень ALE досі — стіна з 0%: кожен протестований передовий агент, зокрема Fable 5, провалює кожне завдання на найскладнішому рівні. Найкращий загальний агент проходить лише 25,2% початкового ALE, проти 82% у Terminal-Bench. Розрив у професійній роботі значно більший, ніж у програмуванні.
ApprenticeBench дає найчистіше порівняння вартості й контролю: Fable 5.1 перевершує найкращого тестувальника-людину, 72% проти 51%, у реальній роботі з рахунками до оплати. Але коштує це $18,23 за рахунок проти $7,21 у людини. Агент виграє за якістю і програє за економікою одиниці роботи.
Кожна модель порушує бізнес-правила в AutomationBench-AA. Найбезпечніша модель все одно порушує обмеження приблизно раз на 15 виконаних цілей, а найгірша — раз на 0,8 цілі. За нинішньої надійності перевірка людиною не є необов'язковою.
🇨🇳 Qwen10 місць · нотаток: 3
Те саме питання, відповідь одного ШІ — Qwen. Підсумковий список вище об'єднує всі ШІ.
- 1Claude Fable 5.2
Очолює SWE-bench Verified з 95% і найкращу межу Парето Арени для реальної роботи при $11,32 за завдання.
Джерело ↗ - 2GPT-6.2 Astra
Лідирує в Agents' Last Exam v1.1 з 47,5% строгих заліків і 78,3% бала, використовуючи 2,6 млн вихідних токенів.
Джерело ↗ - 3Qwen3.8 Max
Набирає 86,1% в OSWorld-Verified, перевершуючи базовий рівень людей у відкритих завданнях роботи з комп'ютером.
Джерело ↗ - 4Claude Opus 5.5
Дає 97% в SWE-bench Verified (з Mini-SWE-agent), коштуючи лише $8,06 за завдання в рейтингу роботи Арени.
Джерело ↗ - 5Gemini 4 Neon
Очолює незалежний рейтинг Artificial Analysis AutomationBench-AA з 79,3% на симульованих SaaS-процесах.
Джерело ↗ - 6MiniMax M3.1 Flash
Лідирує в офіційному AutomationBench Zapier з 62,2% виконання багатоетапних завдань бізнес-автоматизації.
Джерело ↗ - 7ERNIE 5.5 Flash Preview
Досягає 61,9% в AutomationBench Zapier, ефективно розбираючись з неоднозначністю між застосунками для CRM і календаря.
Джерело ↗ - 8Devin (SWE-1.7 / SWE-2)
Автономний програміст Когнішн набирає 81,5% в Terminal-Bench 2.1 і 77,8% в SWE-bench Multilingual.
Джерело ↗ - 9Lindy.ai
Конструктор ШІ-співробітників без коду коштує від $29,99 до $199,99 на місяць, але відгуки ділять користувачів: 4,9 зірки на G2 і 1,7 на Трастпайлот.
- 10Relevance AI
Зосереджується на «AI Factories», де операційні команди без написання коду створюють самовдосконалювані робочі колективи агентів.
Джерело ↗
Що помітив Qwen
В Agents' Last Exam основні агенти ШІ спершу проходили лише 2,6% реальних професійних завдань, але найновіший рейтинг v1.1 показує, що GPT-6.2 Astra досягає 47,5% строгої частки заліків.
Рейтинги реальної роботи, як у Арени, показують, що найефективніші агенти (як Claude Fable 5.2 при $11,32 за завдання) насправді дорожчі за завершене завдання, ніж старіші моделі (як Claude Opus 5.5 при $8,06).
AutomationBench Zapier показує широкий розрив між офіційними результатами на хостингу (MiniMax — 62,2%) і незалежними оцінками (Gemini 4 Neon — 79,3% в AA AutomationBench). Це свідчить: те, як запущено бенчмарк, важить не менше, ніж сама модель.
🇨🇳 Qianwen10 місць
Те саме питання, відповідь одного ШІ — Qianwen. Підсумковий список вище об'єднує всі ШІ.
- 1ChatGPT Work
Найвища строга частка заліків в Agents' Last Exam з вбудованим виконанням інструментів.
Джерело ↗ - 2Claude Cowork
Найвища оцінка в довгих документних процесах.
- 3Microsoft Copilot Studio
Найкраща корпоративна інтеграція з M365 для перевірених бізнес-завдань.
- 4Gemini Agent
Сильні мультимодальні результати в процесах між застосунками.
- 5Codex
Провідна генерація коду і налагодження в професійних завданнях розробки.
Джерело ↗ - 6Manus
Висока автономність у дослідницьких завданнях, але потребує перевірки людиною.
- 7Cursor
Оптимізований для кодування в IDE з малою затримкою.
- 8WorkBuddy
Економічний для рутинної офісної автоматизації з помірною точністю.
- 9OpenClaw
Відкрита альтернатива з високою настроюваністю, але нижчою часткою заліків.
Джерело ↗ - 10Antigravity
Спеціалізований на створенні програм, але обмежений у бізнес-процесах.