Назад к тренду дня: Meta заявляет, что её дешёвый ИИ не уступает Антропик за треть цены
Рейтинг Poly · из тренда дня

Лучшая модель для агентов ИИ в 2026 году: офисная работа против кода

Muse Ember выполняет 68,1% целей офисных процессов против 35,4% у Claude Haiku 5.5, но правки Haiku чаще проходят тесты сопровождающих проектов: 34,9% против 27,2%.

  • №1: Meta Muse Ember
  • 10 мест

01Итоговый список

Ведущие ИИ независимо составили свои списки из десяти мест. Сверху — один итог, который легко проверить: у каждого места есть причина, источник и список ИИ, которые его включили.

Порядок: от большего согласия ИИ к меньшему.

Яркая плашка — этот ИИ включил пункт в свой список. Тусклая — не включил.

  1. 1

    Meta Muse Ember

    Давайте ей офисные шаги: она выполняет 68,1% целей процессов против 35,4% у Haiku. А к финальному слиянию её не подпускайте: там она набирает 27,2%, у Haiku — 34,9%.

    Включили: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek, Qwen. Не включили: Gemini, Wenxin.

    В их списках: Claude: 1 · ChatGPT: 1 · Meta: 5 · Grok: 1 · Z.ai: 3 · Kimi: 2 · DeepSeek: 1 · Qwen: 2

    Что отметил каждый ИИ 8
    • Claudeместо 1

      Побеждает в офисной работе с 37,8% в AutomationBench-AA (у Haiku — 13,9%), но проигрывает в коде: 27,2% против 34,9% в FrontierCode 2.0.

      Источник ↗
    • ChatGPTместо 1

      Офисный специалист: 68,1% выполненных целей процесса, но лишь 27,2% в оценке кода по готовности к слиянию.

      Источник ↗
    • Metaместо 5

      Терминал прежде всего: 40,9% в Terminal-Bench по таблице Meta, 27,2% в FrontierCode-AA — офисного результата в списке AA AutomationBench по 24 моделям не найдено.

      Источник ↗
    • Grokместо 1

      Давайте ей офисные шаги: 68,1% целей процессов, а финальное слияние оставьте за другой моделью.

      Источник ↗
    • Z.aiместо 3

      Разделение «офис–код» в одной модели: 68,1% в прогоне AA по рабочим процессам (более строгая таблица Meta даёт 37,8), победа в терминале над Haiku 40,9% против 32,8% — и поражение от Haiku по коду, готовому к слиянию: 27,2% против 34,9%.

      Источник ↗
    • Kimiместо 2

      Выполняет 37,8% офисных процессов — в 2,7 раза больше, чем у Haiku, — но тест слияния у сопровождающих переворачивает результат: 27,2% против 34,9% у Haiku.

      Источник ↗
    • DeepSeekместо 1

      Единственная дешёвая модель, которая одновременно в топе по деловым процессам (37,8% строго) и конкурентоспособна в терминальной работе (40,9%), хотя лишь 27,2% её патчей для кода были бы приняты в слияние.

      Источник ↗
    • Qwenместо 2

      Создана специально для повторяющихся API-вызовов и маршрутизации, которыми агенты заняты весь день.

      Источник ↗
    8 ИИ поставили сюда
  2. 2

    Claude Haiku 5.5

    Дешёвая модель, которую можно допускать к коду: 34,9% в прогоне Artificial Analysis по FrontierCode, хотя собственная таблица Cognition даёт 27,7%. В офисной работе она выполняет лишь 35,4%.

    Включили: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek, Qwen. Не включили: Gemini, Wenxin.

    В их списках: Claude: 2 · ChatGPT: 2 · Meta: 4 · Grok: 2 · Z.ai: 5 · Kimi: 1 · DeepSeek: 2 · Qwen: 4

    Что отметил каждый ИИ 8
    • Claudeместо 2

      Выбор для кода: лучший результат FrontierCode 2.0 в небольшой группе (34,9%), но она доводит до конца лишь 13,9% офисных процессов.

      Источник ↗
    • ChatGPTместо 2

      Проигрывает конкурс офисных процессов Ember, но обходит его на 7,7 пункта в заявленном сравнении FrontierCode.

      Источник ↗
    • Metaместо 4

      Лидер дешёвого кода: 27,7% в FrontierCode 2.0 и 36% в терминале, но лишь 35,4% в офисных процессах.

      Источник ↗
    • Grokместо 2

      Дешёвая модель, которой стоит трогать код: 34,9% готовности к слиянию, 13,9% строгого результата в офисном тесте.

      Источник ↗
    • Z.aiместо 5

      Модель, которой стоит доверить код: 34,9% патчей проходят тесты сопровождающих в FrontierCode 2.0, примерно на десять пунктов выше каждого дешёвого соперника, — а её офисный балл (35,4%) здесь самый слабый.

      Источник ↗
    • Kimiместо 1

      Единственная малая модель, которая выигрывает колонку кода: 34,9% в FrontierCode 2.0 против 27,2% у Muse Ember, то есть на 7,7 пункта лучше, — при 39,2% в Terminal-Bench.

      Источник ↗
    • DeepSeekместо 2

      Лучший кодер в дешёвом классе, готовый к слиянию: 34,9% в FrontierCode 2.0, но лишь 13,9% строго в офисных процессах — код исправит, таблицу проигнорирует.

      Источник ↗
    • Qwenместо 4

      Защитные барьеры безопасности Антропик не дают ей нарушать правила рабочих процессов SaaS.

    8 ИИ поставили сюда
  3. 3

    DeepSeek V4.1 Flash

    Сильна в офисной работе — 66,6%, но лишь 19,3% в таблице Cognition по коду. Её результат в терминале падает с заявленных 42,3% до 31,82% в прогоне Vals AI.

    Включили: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek. Не включили: Gemini, Wenxin, Qwen.

    В их списках: Claude: 4 · ChatGPT: 5 · Meta: 8 · Grok: 5 · Z.ai: 4 · Kimi: 4 · DeepSeek: 3

    Что отметил каждый ИИ 7
    • Claudeместо 4

      Лучший долгосессионный программист в группе Бито (71,9%) за $2,17 за 20-ходовой прогон; показателя AutomationBench-AA не нашёл.

      Источник ↗
    • ChatGPTместо 5

      33 пункта интеллекта и открытые веса привлекают, но FrontierCode падает до 19,3% на более трудной работе по коду, готовому к слиянию.

      Источник ↗
    • Metaместо 8

      Сильна в терминале для своей цены: 31,82% за $0,54, а код слабый — 19,3%: исполнитель команд, а не сливатель кода.

    • Grokместо 5

      На таблице Hermes она набирает 36,91 за $0,26 за задачу, рядом с 37,00 у Haiku за $0,49.

      Источник ↗
    • Z.aiместо 4

      66,6% в офисных процессах и открытые веса MIT для самостоятельного хостинга, но терминальная история меняется с обвязкой: 42,3% по заявлению самого разработчика против 19,7% в независимом прогоне Vals.

      Источник ↗
    • Kimiместо 4

      Самый дешёвый серьёзный вариант для кода: 19,3% в FrontierCode 2.0 за $0,38 за прогон, при Terminal-Bench 42,3% по заявлению разработчика / 33,8% независимо.

      Источник ↗
    • DeepSeekместо 3

      Терминальный специалист: 42,3% в Terminal-Bench 4.0 и 60,5% в AutomationBench v1.0.6, но лишь 28% в FrontierCode — силён в запуске команд, слабее в отправке патчей, готовых к слиянию.

      Источник ↗
    7 ИИ поставили сюда
  4. 4

    GPT-6 Luna

    Средне в офисной работе и слабо в терминале: 53,2% целей офисных процессов (20,2% при строгой оценке), 25,2% по коду и лишь 16,4% терминальных задач решены.

    Включили: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek. Не включили: Gemini, Wenxin, Qwen.

    В их списках: Claude: 6 · ChatGPT: 6 · Meta: 6 · Grok: 9 · Z.ai: 8 · Kimi: 7 · DeepSeek: 6

    Что отметил каждый ИИ 7
    • Claudeместо 6

      В середине по офисной работе (20,2%) и последний из трёх конкурентов запуска по коду (25,2%) и терминальным задачам (16,4%).

      Источник ↗
    • ChatGPTместо 6

      Недорогой помощник с 31 в Coding Agent Index, но лишь 16,4% официально решённых терминальных задач.

      Источник ↗
    • Metaместо 6

      Сбалансированно и дёшево: 53,2% в офисе и 21,9% в коде — офис лучше, чем у Haiku, код слабее.

      Источник ↗
    • Grokместо 9

      Проигрывает строгий офисный тест с 20,2% и тест слияния с 25,2%, при ценнике, совпадающем с Ember.

      Источник ↗
    • Z.aiместо 8

      Её офисный балл почти утраивается в зависимости от того, кто его считает: 20,2% в одноразовой таблице Meta против 53,2% в стандартном прогоне AA; готовность к слиянию по таблице Cognition — 23,8%.

      Источник ↗
    • Kimiместо 7

      Разделение «офис над кодом» в одной модели: сильна в деловых процессах (AutomationBench-AA 53% в одном прогоне AA, 20,2% в более строгой таблице Meta), но 16,4% в Terminal-Bench.

      Источник ↗
    • DeepSeekместо 6

      Низкий счёт за задачу ($0,15) скрывает слабые офисные и терминальные результаты: 20,2% строго в AutomationBench, 16,4% в Terminal-Bench и 25,2% в FrontierCode.

      Источник ↗
    7 ИИ поставили сюда
  5. 5

    MiniMax M3.1 Flash

    Лучший офисный результат среди дешёвых моделей — 72,5%. Результат в терминале падает с заявленных 38,1% до 25,25% в прогоне Vals AI: используйте её для приложений, а не для командной строки.

    Включили: Claude, Meta, Grok, Z.ai, Kimi, DeepSeek. Не включили: ChatGPT, Gemini, Wenxin, Qwen.

    В их списках: Claude: 5 · Meta: 2 · Grok: 7 · Z.ai: 2 · Kimi: 5 · DeepSeek: 5

    Что отметил каждый ИИ 6
    • Claudeместо 5

      Достигает 75,0% в 20-ходовых сессиях Бито, почти наравне с Haiku 5.5, но один прогон занимает от 3 до 5 часов.

      Источник ↗
    • Metaместо 2

      72,5% выполненных офисных целей — лучший офисный результат среди дешёвых моделей — рядом с 25% в терминале.

      Источник ↗
    • Grokместо 7

      Стартовый терминальный показатель 38,1% и показатель на общей обвязке 25,25% — не один и тот же тест.

      Источник ↗
    • Z.aiместо 2

      72,5% выполненных офисных целей — второе место среди 249 моделей после Gemini 4 Carbon, а Vals выставил счёт всего $0,21 за терминальный тест — самый дешёвый счёт за готовую задачу в классе.

      Источник ↗
    • Kimiместо 5

      38,1% в Terminal-Bench 4.0 — на 22 пункта выше Luna при той же выходной цене около $0,60, без опубликованных офисных и кодовых показателей.

      Источник ↗
    • DeepSeekместо 5

      Чемпион офисных процессов в дешёвом наборе с 72,5% в AutomationBench-AA, но лишь 21% в FrontierCode и 26% в Terminal-Bench — отдавайте ей таблицы, а не запросы на слияние.

      Источник ↗
    6 ИИ поставили сюда
  6. 6

    GLM-5.3-Flash

    Модель с открытыми весами для офисных задач — 60,4%. Код, готовый к слиянию, — 14,2% в таблице Cognition и 17,6% в прогоне Artificial Analysis.

    Включили: ChatGPT, Grok, Kimi, DeepSeek. Не включили: Claude, Meta, Gemini, Z.ai, Wenxin, Qwen.

    В их списках: ChatGPT: 4 · Grok: 3 · Kimi: 6 · DeepSeek: 7

    Что отметил каждый ИИ 4
    • ChatGPTместо 4

      35,8% решённых терминальных задач для модели Flash, но лишь 14,2% в бенчмарке качества кода для сопровождающих.

      Источник ↗
    • Grokместо 3

      Открытая модель для офисной очереди — 60,4%, а код, готовый к слиянию, — 17,6%.

      Источник ↗
    • Kimiместо 6

      35,8% в Terminal-Bench 4.0 за $0,36 за задачу — точка соотношения цены и результата, где дешёвая терминальная работа начинает быть надёжной.

      Источник ↗
    • DeepSeekместо 7

      60% в AutomationBench делают её достойным исполнителем офисных шагов, но 15% в FrontierCode и 33% в Terminal-Bench держат её подальше от работы с репозиторием.

      Источник ↗
    4 ИИ поставили сюда
  7. 7

    Gemini 3.8 Flash

    Выполняет 59,9% целей офисных процессов, но лишь около 19% терминальных задач. Vals AI насчитал $8,65 за терминальный тест — самый высокий счёт в группе бюджетных моделей.

    Включили: ChatGPT, Meta, Z.ai, DeepSeek. Не включили: Claude, Grok, Gemini, Kimi, Wenxin, Qwen.

    В их списках: ChatGPT: 7 · Meta: 3 · Z.ai: 7 · DeepSeek: 9

    Что отметил каждый ИИ 4
    • ChatGPTместо 7

      Мультимодальный ассистент на миллион токенов, но в своей оценочной обвязке решил лишь 19,1% официальных терминальных задач.

      Источник ↗
    • Metaместо 3

      59,9% в офисе, 19,7% в терминале — то же распределение, что у MiniMax, но при значительно большей измеренной стоимости задачи.

      Источник ↗
    • Z.aiместо 7

      59,9% в офисных процессах; энтузиасты сравнивают её с уровнем Opus, но та же модель стоила Vals $8,65 за терминальный тест — самый большой счёт за готовую задачу в бюджетном классе.

      Источник ↗
    • DeepSeekместо 9

      60% в AutomationBench на высоком усилии, но лишь 19% в FrontierCode и 20% в Terminal-Bench — напоминание, что офисная компетентность не переносится на код, готовый к слиянию.

      Источник ↗
    4 ИИ поставили сюда
  8. 8

    Thinking Machines Inkling 2 Small

    По одному источнику, в офисной работе сообщается о скачке до 46%, по коду — с 22,6% до 25%. Решает она лишь 12,63% терминальных задач.

    Включили: Claude, ChatGPT. Не включили: Meta, Grok, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen.

    В их списках: Claude: 3 · ChatGPT: 8

    Что отметил каждый ИИ 2
    • Claudeместо 3

      По сообщениям, выросла с 5% до 46% в AutomationBench-AA по сравнению с предшественником, а Terminal-Bench 4.0 остаётся примерно на 13%.

      Источник ↗
    • ChatGPTместо 8

      Её 22,6% в FrontierCode — достойный результат, но задача индекса за $1,18 и медленное выполнение ослабляют экономику агентов.

      Источник ↗
    2 ИИ поставили сюда
  9. 9

    Qwen3.8 Flash

    Её результат в офисной работе — 55,9%, это на 30 пунктов выше, чем 25,3% в терминале, на той же странице Artificial Analysis. Эти цифры есть только в одном источнике.

    Включили: Grok. Не включили: Claude, ChatGPT, Meta, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen.

    В их списках: Grok: 4

    Что отметил каждый ИИ 1
    • Grokместо 4

      Офисная работа на уровне 55,9% выше её терминального балла на той же карте на 30 пунктов.

      Источник ↗
    1 ИИ поставили сюда
  10. 10

    Qwen3.8-27B

    Специалист по работе с экраном на рабочем столе, а не по терминалу: 84,3% в OSWorld-Verified, но лишь 5,1% в Terminal-Bench 4.0 и 48,2% в офисной работе. Эти цифры есть только в одном источнике.

    Включили: Z.ai. Не включили: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek, Wenxin, Qwen.

    В их списках: Z.ai: 9

    Что отметил каждый ИИ 1
    • Z.aiместо 9

      Специалист по графическому интерфейсу в малом классе: 84,3% в OSWorld-Verified (четвёртое место в общем зачёте) против 5,1% в Terminal-Bench 4.0 — настольные приложения да, контейнерные терминалы нет.

      Источник ↗
    1 ИИ поставили сюда

Тройка подробно ↓

02Подробнее о тройке

Рейтинг выше. Здесь — подробнее о первых трёх местах: что это, почему они здесь и что стоит знать.

Три модели сравниваются по разным тестам: 68,1% у Ember и 66,6% у DeepSeek получены в прогонах офисных рабочих процессов, а 35,4% у Haiku — по той же офисной мерке. Оценки по коду и работе в терминале взяты из других тестов; часть из них приведена самими компаниями, а часть — из независимых источников.

1Meta Muse Ember

№ 1 — Meta Muse Ember. В списках у 8 из 10 ИИ; медианное место там: 1.5. ИИ ставят Ember на первое место, потому что она выполняет намного больше шагов офисных рабочих процессов, чем Haiku, хотя в коде, который можно сразу принять, уступает.

А вы знали

  • Meta Muse Ember — самая маленькая модель семейства Muse от Meta. Её задумали работать вместе с более крупным планировщиком, Muse Wonder. Слоган Meta: «Muse Wonder планирует, Muse Ember берёт на себя объём». Её веса закрыты.

    Источник ↗ ✓ подтверждено несколькими ИИ
Что это
Самая маленькая и самая дешёвая модель Muse от Meta, созданная для небольших повторяющихся задач агентов.
Чем сильнее
Выполняет 68,1% целей офисных рабочих процессов — заметно больше, чем 35,4% у Haiku.
Кому подходит
Подходит для офисной работы в режиме агента; не для кода, который сразу принимают в проект.
  • Выполнено целей офисных рабочих процессов68,1% офисных целей
Почему он здесь
  • В длинном тесте Meta на рабочих процессах на компьютере (OSWorld 2.1) Ember получает 69,5% частичного зачёта. Claude Haiku 5.5 — 68,9%. Это почти ничья, поэтому преимущество Ember в офисной работе по этому показателю невелико.

  • По полностью выполненным задачам Ember доводит до конца 33,8%, а Haiku — 27,8%, по данным The New Stack. Преимущество видно, когда считаются только задачи, выполненные от начала до конца.

А вы знали
  • Ember стоит $0,10 за миллион входных токенов и $0,50 за миллион выходных. При этом у неё контекстное окно на 1 млн токенов, и она принимает изображения на входе. Это четвёртая модель Muse — после Spark, Glimmer и Wonder.

Что важно учесть
  • Ember вышла 9 ноября 2026 года как более компактная и дешёвая модель, поэтому пока обзоры опираются на собственные тесты Meta. Независимых отзывов пользователей пока не нашлось. Ранние оценки стоит считать заявлениями производителя.

Где узнать больше
  • Откройте блог и попробуйте Muse Ember по кнопке «Try Muse». Сначала посмотрите график «Intelligence vs. Cost Per Task» сразу после вступления. Эти цифры — собственные у Meta, поэтому сверьте их с независимыми тестами.

Сравнить первую тройку ↓

2Claude Haiku 5.5

№ 2 — Claude Haiku 5.5. В списках у 8 из 10 ИИ; медианное место там: 2. ИИ ставят Haiku на второе место как дешёвую модель, которой можно доверить код: больше её правок в коде проходят тесты сопровождающих проектов, хотя по офисным оценкам она слабее.

Что это
Маленькая недорогая модель семейства Claude 5.5, которую выпустила Антропик.
Чем сильнее
Её правки в коде чаще проходят тесты сопровождающих: 34,9% против 27,2% у Ember.
Кому подходит
Подходит для исправлений и правок в коде; не лучший выбор для офисных рабочих процессов.
  • Выполнено целей офисных рабочих процессов35,4% офисных целей

Wikidata

Почему он здесь
  • На странице результатов Meta у Claude Haiku 5.5 — 68,9% частичного зачёта в офисных сценариях OSWorld 2.1. У Ember — 69,5%, поэтому Haiku отстаёт совсем немного в задачах на компьютере.

  • Тот же тест считает полное выполнение отдельно. Haiku полностью завершает 27,8% задач, у Ember — 33,8%. Часть его места в рейтинге держится на сильных сторонах в других областях, например в коде.

Kimi поставили его первым. Что они в нём увидели
  • Kimi: Единственная малая модель, которая выигрывает колонку кода: 34,9% в FrontierCode 2.0 против 27,2% у Muse Ember, то есть на 7,7 пункта лучше, — при 39,2% в Terminal-Bench.

Видео: Claude Haiku vs Sonnet vs Opus vs Fable Clearly Explained (& use cases) (на английском) · Eliot Prince

Сравнить первую тройку ↓

3DeepSeek V4.1 Flash

№ 3 — DeepSeek V4.1 Flash. В списках у 7 из 10 ИИ; медианное место там: 4. ИИ ставят эту модель третьей: её офисный результат силён, но по коду слабо, а в терминале результаты зависят от теста.

Что это
Недорогая модель Flash от DeepSeek с открытыми весами, которая теперь обслуживает и запросы к модели Pro.
Чем сильнее
Почти как Ember в офисной работе — 66,6%, а за задачу дешевле Haiku.
Кому подходит
Подходит для собственного развёртывания и задач в терминале; не для кода, который сразу принимают в проект.
  • Выполнено целей офисных рабочих процессов66,6% в офисных задачах
Почему он здесь
  • В независимом прогоне Vals AI по Terminal-Bench 4.0 версия DeepSeek V4.1 Flash 1017 набирает 31,82%. GPT-6.1 Sol на той же странице — 55,05%, так что отрыв от лидера большой.

История
  • 14 сентября 2026 года DeepSeek начал направлять все запросы к своей топовой модели V4-Pro на более дешёвую V4.1-Flash, передавая экономию клиентам. Flash вышла за четыре дня до этого, 10 сентября.

    Источник ↗ ✓ подтверждено несколькими ИИ
Что важно учесть
  • DeepSeek сообщает, что все запросы к его Pro-модели теперь направляются на V4.1 Flash и оплачиваются по цене Flash. Комментаторы на Hacker News считают тихую подмену моделей тревожным признаком, а один пользователь сообщает, что Flash в инструментах для программирования зацикливается и выдаёт неверные вызовы инструментов.

Где узнать больше
  • Откройте карточку модели на Hugging Face. Начните с раздела «Performance across agent scaffolds», в котором описаны тесты терминальных задач. На странице также указано 552 млрд параметров, а в метаданных Hub — 763 млрд, поэтому внимательно сверяйте цифры.

Сравнить первую тройку ↓

Тройка рядом

Meta Muse EmberClaude Haiku 5.5DeepSeek V4.1 Flash
В списках ИИ8 / 108 / 107 / 10
Выполнено целей офисных рабочих процессов68,1% офисных целей35,4% офисных целей66,6% в офисных задачах
Первым поставилиClaude, ChatGPT, Grok, DeepSeekKimi—

Места с одинаковым числом ИИ упорядочены по среднему месту в списках самих ИИ.

03Стоит знать

Что заметили ИИ, пока составляли список.

Лидер в офисной работе — не лидер в коде. Ember обгоняет Haiku 5.5 по выполненным процессам (68,1% против 35,4%) и проигрывает по коду, готовому к слиянию (27,2% против 34,9%). Оба результата — прогоны Artificial Analysis.

Заметили:
Включили: Claude, ChatGPT, Grok, Z.ai, Kimi, DeepSeek. Не включили: Meta, Gemini, Wenxin, Qwen.
Источник ↗

У AutomationBench два способа подсчёта. 68,1% считает выполненные цели, а 37,8% у Meta засчитывает процесс, только если он полностью сделан с первой попытки. Так же Haiku падает с 35,4% до 13,9%, поэтому два подсчёта нельзя смешивать.

Заметили:
Включили: Claude, ChatGPT, Grok, Z.ai, DeepSeek. Не включили: Meta, Gemini, Kimi, Wenxin, Qwen.
Источник ↗

Таблицы разработчиков дают более высокие цифры. DeepSeek заявляет 42,3% в Terminal-Bench против 31,82% у Vals AI, а MiniMax — 38,1% против 25,25%.

Заметили:
Включили: Grok, Z.ai, Kimi. Не включили: Claude, ChatGPT, Meta, Gemini, DeepSeek, Wenxin, Qwen.
Источник ↗

Тестовая среда влияет на балл. Результат Haiku в Terminal-Bench — 39,2% по данным Антропик, 36,36% у Vals AI и 32,8% у Artificial Analysis на тех же 66 задачах.

Заметили:
Включили: Meta, Grok, Z.ai, Kimi. Не включили: Claude, ChatGPT, Gemini, DeepSeek, Wenxin, Qwen.
Источник ↗

Главный балл FrontierCode 2.0 — это взвешенная оценочная схема с обязательными критериями, а не просто доля правок, прошедших тесты. Haiku набирает 34,9% в прогоне Artificial Analysis и 27,7% в собственной таблице Cognition.

Заметили:
Включили: ChatGPT, Meta, Grok, Z.ai. Не включили: Claude, Gemini, Kimi, DeepSeek, Wenxin, Qwen.
Источник ↗

04Что спрашивают люди

Какая модель лучше всего подходит для агента ИИ?

Всё зависит от задачи. Для офисных шагов выбор — Muse Ember (68,1% целей AutomationBench), а для кода, который должен проходить тесты сопровождающих проекта, — Claude Haiku 5.5 (34,9% по FrontierCode 2.0).

Источник ↗
Модели ИИ и агенты ИИ: в чём разница?

Модель выдаёт следующий шаг; агент оборачивает её в инструменты и цикл. Поэтому Terminal-Bench 4.0 оценивает пары «модель и агент» на 66 задачах, и балл одной и той же модели меняется вместе с тестовой средой.

Какая модель ИИ лучше всего подходит для Hermes Agent?

По снимку Hermes Index Haiku 5.5 набирает 37,00 при примерно $0,49 за задачу, а DeepSeek V4.1 Flash — 36,91 при примерно $0,26. Ember в списке нет.

Источник ↗
Почему результаты офисных процессов так сильно различаются между источниками?

Artificial Analysis считает выполненные цели (Ember — 68,1%), а в графике Meta — строгий подсчёт с одной попытки (Ember — 37,8%, Luna — 20,2% против 53,2%).

Источник ↗

05Как считали

Простыми словами, без формул.

1Вопрос

Топ-10 компактных моделей ИИ для агентов: офисные процессы против кода, который сопровождающий принял бы в проект

2Почему эта тема

Три независимых издателя измеряют три разных вида работы агентов, поэтому читатель понимает, что «обгоняет Haiku» зависит от задачи. Ни одна таблица этого не показывает.

3Где это применимо

Мировые, компактные и недорогие модели, которые работают в агентах

4На что смотрели

  • Доля целей бизнес-процессов, выполненных в имитации офисных приложений
  • Доля правок в коде, которые проходят тесты, написанные реальными сопровождающими репозиториев
  • Доля реальных терминальных задач, которые решает пара «модель и агент»
  • На сколько меняется каждый балл между таблицей разработчика и независимым прогоном
  • Artificial Analysis AutomationBench-AA — доля целей бизнес-процессов, выполненных в имитации приложений (Gmail, Slack, Salesforce и другие). Объектный балл и строгий балл pass@1 d
  • Cognition FrontierCode 2.0 (и собственный прогон Artificial Analysis) — проходят ли правки, написанные по неформальным описаниям, тесты и оценочные схемы сопровождающих проектов, на 132 задачах
  • Институт Лауд и Харбор, Terminal-Bench 4.0 — доля из 66 задач в контейнерах в терминале, которую решает пара «модель и агент»
  • Vals AI, Terminal-Bench 4.0 — те же 66 задач в одной общей тестовой среде, используются как внешняя проверка таблиц разработчиков

5Кто ставил места

Ведущие ИИ: Claude, ChatGPT, Meta, Grok, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen. Каждый сам составил свой список из десяти мест и к каждому месту назвал источник.

6Как сведены места

Одно и то же, названное разными ИИ по-разному, считали за одно. Чем больше ИИ включили пункт в свой список и чем выше поставили, тем выше его место. «Согласие ИИ» показывает, у скольких ИИ этот пункт был в собственном списке. Источники — только те, что нашли сами ИИ, ничего не добавлено вручную.

06Список каждого ИИ отдельно

🇺🇸 Claude10 мест · заметок: 3

Тот же вопрос, ответ одного ИИ — Claude. Итоговый список выше объединяет все ИИ.

  1. 1
    Meta Muse Ember (2026)

    Побеждает в офисной работе с 37,8% в AutomationBench-AA (у Haiku — 13,9%), но проигрывает в коде: 27,2% против 34,9% в FrontierCode 2.0.

    Источник ↗
  2. 2
    Claude Haiku 5.5

    Выбор для кода: лучший результат FrontierCode 2.0 в небольшой группе (34,9%), но она доводит до конца лишь 13,9% офисных процессов.

    Источник ↗
  3. 3
    Inkling 2 Small (Thinking Machines)

    По сообщениям, выросла с 5% до 46% в AutomationBench-AA по сравнению с предшественником, а Terminal-Bench 4.0 остаётся примерно на 13%.

    Источник ↗
  4. 4
    DeepSeek V4.1 Flash

    Лучший долгосессионный программист в группе Бито (71,9%) за $2,17 за 20-ходовой прогон; показателя AutomationBench-AA не нашёл.

    Источник ↗
  5. 5
    MiniMax M3.1 Flash

    Достигает 75,0% в 20-ходовых сессиях Бито, почти наравне с Haiku 5.5, но один прогон занимает от 3 до 5 часов.

    Источник ↗
  6. 6
    GPT-6 Luna

    В середине по офисной работе (20,2%) и последний из трёх конкурентов запуска по коду (25,2%) и терминальным задачам (16,4%).

    Источник ↗
  7. 7
    Muse Spark 1.3 (Meta)

    Набирает 37 в индексе, но счёт — $2,39 за задачу, и разбивки по офисным процессам или коду для неё я не нашёл.

    Источник ↗
  8. 8
    Kimi K3.1 Pro

    Балл по коду 64,9% в тестах Бито, но при $29,32 за 20-ходовой прогон это не дешёвый выбор.

    Источник ↗
  9. 9
    GLM-5.3 (Чжипу AI)

    Общий результат 60,1% в программных сессиях Бито при $20,28 за 20-ходовой прогон; показателя по офисным процессам не нашёл.

    Источник ↗
  10. 10
    Claude Sonnet 5.5 (ориентир по средней цене)

    Не маленькая модель, но её 30% в Terminal-Bench 4.0 (среднее усилие) показывают, что 13% у Inkling — это в контексте.

    Источник ↗

Что заметил Claude

Ember и Haiku 5.5 меняются местами по типу задач: у Ember 37,8% против 13,9% в AutomationBench-AA, а у Haiku 34,9% против 27,2% в FrontierCode 2.0. Оба — прогоны Artificial Analysis.

У AutomationBench-AA два прочтения: 37,8% засчитывает процесс, только если он полностью сделан с первого раза, а 68,1% засчитывает выполненные цели.

В Coding Agent Index от Artificial Analysis Ember набирает 46 против 37 у Haiku, так что проигрыш в FrontierCode переносится не на каждую меру кода.

🇺🇸 ChatGPT10 мест · заметок: 3

Тот же вопрос, ответ одного ИИ — ChatGPT. Итоговый список выше объединяет все ИИ.

  1. 1
    Meta Muse Ember (2026)

    Офисный специалист: 68,1% выполненных целей процесса, но лишь 27,2% в оценке кода по готовности к слиянию.

    Источник ↗
  2. 2
    Claude Haiku 5.5 (2026)

    Проигрывает конкурс офисных процессов Ember, но обходит его на 7,7 пункта в заявленном сравнении FrontierCode.

    Источник ↗
  3. 3
    OpenAI GPT-6.1 Sol (2026)

    Её 39,0% в FrontierCode и официальные 58,2% решённых терминальных задач оправдывают передачу трудных правок более сильной модели.

    Источник ↗
  4. 4
    Чжипу AI GLM-5.3-Flash (2026)

    35,8% решённых терминальных задач для модели Flash, но лишь 14,2% в бенчмарке качества кода для сопровождающих.

    Источник ↗
  5. 5
    DeepSeek V4.1 Flash 1017 (2026)

    33 пункта интеллекта и открытые веса привлекают, но FrontierCode падает до 19,3% на более трудной работе по коду, готовому к слиянию.

    Источник ↗
  6. 6
    OpenAI GPT-6 Luna (2026)

    Недорогой помощник с 31 в Coding Agent Index, но лишь 16,4% официально решённых терминальных задач.

    Источник ↗
  7. 7
    Google Gemini 3.8 Flash (2026)

    Мультимодальный ассистент на миллион токенов, но в своей оценочной обвязке решил лишь 19,1% официальных терминальных задач.

    Источник ↗
  8. 8
    Thinking Machines Inkling 2 Small (2026)

    Её 22,6% в FrontierCode — достойный результат, но задача индекса за $1,18 и медленное выполнение ослабляют экономику агентов.

    Источник ↗
  9. 9
    Cognition SWE-2 Flash (2026)

    Вариант Flash для кода даёт 24,0% в FrontierCode, но одного этого недостаточно, чтобы подтвердить надёжность офисного агента.

    Источник ↗
  10. 10
    Meta Muse Spark Open (2026)

    Открытые веса и интеграция с агентами полезны, но 6,2% в FrontierCode делают независимую проверку правок обязательной.

    Источник ↗

Что заметил ChatGPT

Ember опережает Haiku в деловых процессах, но Haiku опережает Ember по пригодности к слиянию: у Ember 68,1% выполненных целей AutomationBench, а в FrontierCode-AA у Haiku 34,9%, у Ember 27,2%.

Cognition сделала FrontierCode 2.0 заметно труднее: DeepSeek V4.1 Flash упал с 43,9% в версии 1.1 до 19,3% в версии 2.0. Это пересмотр теста, а не измеренный откат модели.

Ожидания настоящего сопровождающего строже обычных тестов: FrontierCode также проверяет объём, дизайн и полноту, и даже сильные модели могут пропустить мелкие требования к чистке.

🇺🇸 Meta10 мест · заметок: 4

Тот же вопрос, ответ одного ИИ — Meta. Итоговый список выше объединяет все ИИ.

  1. 1
    GPT-6.1 Sol (2026)

    Единственная почти дешёвая модель здесь, сильная с обеих сторон: 64,9% в офисе, 39,0% по коду, готовому к слиянию, за $1,03 за прогон.

    Источник ↗
  2. 2
    MiniMax M3.1 Flash (2026)

    72,5% выполненных офисных целей — лучший офисный результат среди дешёвых моделей — рядом с 25% в терминале.

    Источник ↗
  3. 3
    Gemini 3.8 Flash (2026)

    59,9% в офисе, 19,7% в терминале — то же распределение, что у MiniMax, но при значительно большей измеренной стоимости задачи.

    Источник ↗
  4. 4
    Claude Haiku 5.5 (2026)

    Лидер дешёвого кода: 27,7% в FrontierCode 2.0 и 36% в терминале, но лишь 35,4% в офисных процессах.

    Источник ↗
  5. 5
    Muse Ember (2026)

    Терминал прежде всего: 40,9% в Terminal-Bench по таблице Meta, 27,2% в FrontierCode-AA — офисного результата в списке AA AutomationBench по 24 моделям не найдено.

    Источник ↗
  6. 6
    GPT-6 Luna (2026)

    Сбалансированно и дёшево: 53,2% в офисе и 21,9% в коде — офис лучше, чем у Haiku, код слабее.

    Источник ↗
  7. 7
    GLM-5.3 (2026)

    62,2% в офисе, 17,8% в коде — самый широкий разрыв «офис над кодом» среди полноразмерных моделей GLM.

    Источник ↗
  8. 8
    DeepSeek V4.1 Flash 1017 (2026)

    Сильна в терминале для своей цены: 31,82% за $0,54, а код слабый — 19,3%: исполнитель команд, а не сливатель кода.

  9. 9
    Kimi K3.1 Pro (2026)

    73,3% в офисе — формально лидер офиса, но падение FrontierCode у линии K3 предостерегает от того, чтобы считать её программистом.

    Источник ↗
  10. 10
    MiMo-V2.6-Flash (2026)

    Самая дешёвая измеренная задача здесь — $0,13, но строк AutomationBench-AA, FrontierCode 2.0 и Terminal-Bench 4.0 в найденных источниках нет — по обеим задачам не подтверждено.

    Источник ↗

Что заметил Meta

Офис и код расходятся: MiniMax выполняет 72,5% офисных целей, но лишь около 26% терминальных задач, а Haiku — 35,4% офисных и 27,7% кода.

FrontierCode 2.0 снизил все баллы: Opus упал с 54,6% до 45,5%, Kimi K3 — с 60% до 17,7%. Новый тест разделяет уровни, а не сбивает всех в пятидесятые.

GPT-6.1 Sol даёт 86% балла Opus в FrontierCode 2.0 (39,0% против 45,5%) при одной двенадцатой стоимости прогона ($1,03 против $12,82).

Офисный балл Haiku зависит от того, какой AutomationBench имеется в виду: 35,4% в AutomationBench-AA против 12,0% в исходном AutomationBench 1.0.6.

🇺🇸 Grok10 мест · заметок: 4

Тот же вопрос, ответ одного ИИ — Grok. Итоговый список выше объединяет все ИИ.

  1. 1
    Muse Ember (2026)

    Давайте ей офисные шаги: 68,1% целей процессов, а финальное слияние оставьте за другой моделью.

    Источник ↗
  2. 2
    Claude Haiku 5.5

    Дешёвая модель, которой стоит трогать код: 34,9% готовности к слиянию, 13,9% строгого результата в офисном тесте.

    Источник ↗
  3. 3
    GLM-5.3-Flash

    Открытая модель для офисной очереди — 60,4%, а код, готовый к слиянию, — 17,6%.

    Источник ↗
  4. 4
    Qwen3.8 Flash

    Офисная работа на уровне 55,9% выше её терминального балла на той же карте на 30 пунктов.

    Источник ↗
  5. 5
    DeepSeek V4.1 Flash 1017

    На таблице Hermes она набирает 36,91 за $0,26 за задачу, рядом с 37,00 у Haiku за $0,49.

    Источник ↗
  6. 6
    Hy4 (Tencent)

    Ничья с Ember в терминале, 39,4%, но купленная примерно за шестикратную стоимость теста Ember.

  7. 7
    MiniMax-M3.1-Flash

    Стартовый терминальный показатель 38,1% и показатель на общей обвязке 25,25% — не один и тот же тест.

    Источник ↗
  8. 8
    MiMo-V2.6-Flash

    Индекс 27 при $0,13 за задачу, 64 минуты на часах и стартовый терминальный балл, который потом оказался ниже.

    Источник ↗
  9. 9
    GPT-6 Luna

    Проигрывает строгий офисный тест с 20,2% и тест слияния с 25,2%, при ценнике, совпадающем с Ember.

    Источник ↗
  10. 10
    Gemini 3.8 Flash

    Знает больше, чем автоматизирует: 50,5% точности на знания, при цене входа $0,75.

    Источник ↗

Что заметил Grok

Полезное разделение внутри одной ценовой полосы. Muse Ember лидирует по доле выполненных офисных процессов, которую Artificial Analysis выносит в заголовок — 68,1%, а Claude Haiku 5.5 лидирует по коду, готовому к слиянию: 34,9% против 27,2% у Ember. Одна модель должна вести офисные шаги, другая — трогать патч.

GLM-5.3-Flash показывает то же разделение без второго вендора: 60,4% в AutomationBench-AA и 17,6% в FrontierCode 2.0. Лидерство по завершённым процессам может соседствовать с проигрышем по коду, который сопровождающий принял бы в слияние.

У Haiku терминальный балл — не одно число. Это 39,2% на стартовой карте, 32,8% в прогоне Artificial Analysis, 36,36% у Vals и 13,6% в снимке Hermes Index. Обвязка — часть результата.

По снимку Hermes Index DeepSeek V4.1 Flash набирает 36,91 за $0,26 за задачу, а Haiku 5.5 — 37,00 за $0,49. Claude Opus 5.5 лидирует с 63,31, при стоимости, которую зеркало отмечает около $4,99. Повседневные баллы агентов близки. Счёт — нет.

🇺🇸 Gemini10 мест · заметок: 1

Тот же вопрос, ответ одного ИИ — Gemini. Итоговый список выше объединяет все ИИ.

  1. 1
    Антропик Claude 3.5 Haiku

    Отстаёт в навигации по обычным SaaS-приложениям (13,9%), но по качеству кода маленьких моделей доминирует: 41,2% принятия патчей сопровождающими в FrontierCode — на уровне флагманов.

  2. 2
    Meta Muse Ember (2026)

    Громит офисные процессы с 37,8% — почти втрое больше Haiku, — но сопровождающие отклоняют 72% его патчей из-за небрежной обработки граничных случаев.

    Источник ↗
  3. 3
    Qwen 2.5 Coder 32B-Instruct

    Специалист по коду с открытыми весами набирает 36,6% в запросах на слияние у сопровождающих, опережая все проприетарные модели своей ценовой группы, кроме Haiku.

    Источник ↗
  4. 4
    Google Gemini 2.0 Flash

    Лучший сбалансированный универсал: 26,5% в офисных приложениях и 30,2% в терминальной разработке без явного перекоса в одну сторону.

  5. 5
    OpenAI GPT-4o mini

    Надёжно выполняет стандартные офисные таблицы и CRM (20,2%), но застревает на 26,0% в FrontierCode, когда сопровождающие проверяют асинхронный код.

    Источник ↗
  6. 6
    DeepSeek-V3

    Решает сложную алгоритмическую логику в запросах на слияние (32,4% в FrontierCode), но путается в запутанных потоках симулированного OAuth и токенов CRM в офисных пакетах.

    Источник ↗
  7. 7
    Meta Llama 3.3 70B Instruct

    Даёт сбалансированные 28,5% по коду и 27,3% по решению терминальных задач, но более высокая задержка замедляет интерактивную работу агентов в CLI.

  8. 8
    Mistral Small 24B

    Хороша в детерминированных терминальных скриптах (24,2%) и маршрутизации инструментов ERP, но падает до 21,5% при слияниях у сопровождающих из-за неидиоматичных имён переменных.

  9. 9
    Google Gemini 1.5 Flash

    Перерабатывает огромные выгрузки офисных входящих без сбоев по лимиту токенов, но сопровождающие принимают меньше одной из пяти предложенных правок кодовой базы.

  10. 10
    Nous Research Hermes 3 (Llama 3.1 70B)

    Дообучена специально для агентной автономности и вызова функций: 22,7% в Terminal-Bench, а офисные процессы держатся около 14,2%.

Что заметил Gemini

Специализированные открытые модели для кода, такие как Qwen 2.5 Coder 32B, обходят универсальные проприетарные модели (GPT-4o mini и Gemini 1.5 Flash) более чем на 10 процентных пунктов в реальных проверках репозиториев сопровождающими.

🇨🇳 Z.ai10 мест · заметок: 2

Тот же вопрос, ответ одного ИИ — Z.ai. Итоговый список выше объединяет все ИИ.

  1. 1
    Kimi K3.1 Pro (Moonshot AI, 2026)

    Тянет офис (73,3% в AutomationBench-AA) и терминал (67,2%, лучший опубликованный балл TB4.0), но по коду, готовому к слиянию, её предшественница Kimi K3 набрала лишь 17,7% на таблице Cognition.

    Источник ↗
  2. 2
    MiniMax M3.1 Flash (MiniMax, 2026)

    72,5% выполненных офисных целей — второе место среди 249 моделей после Gemini 4 Carbon, а Vals выставил счёт всего $0,21 за терминальный тест — самый дешёвый счёт за готовую задачу в классе.

    Источник ↗
  3. 3
    Muse Ember (Meta, 2026)

    Разделение «офис–код» в одной модели: 68,1% в прогоне AA по рабочим процессам (более строгая таблица Meta даёт 37,8), победа в терминале над Haiku 40,9% против 32,8% — и поражение от Haiku по коду, готовому к слиянию: 27,2% против 34,9%.

    Источник ↗
  4. 4
    DeepSeek V4.1 Flash 1017 (DeepSeek, открытые веса, 2026)

    66,6% в офисных процессах и открытые веса MIT для самостоятельного хостинга, но терминальная история меняется с обвязкой: 42,3% по заявлению самого разработчика против 19,7% в независимом прогоне Vals.

    Источник ↗
  5. 5
    Claude Haiku 5.5 (Антропик, 2026)

    Модель, которой стоит доверить код: 34,9% патчей проходят тесты сопровождающих в FrontierCode 2.0, примерно на десять пунктов выше каждого дешёвого соперника, — а её офисный балл (35,4%) здесь самый слабый.

    Источник ↗
  6. 6
    GLM-5.3 (Чжипу AI, 2026)

    Лучшая в бюджетном классе на терминальной таблице Vals (38,9%) плюс 62,2% в офисных процессах, но Cognition не оценила её патчи, поэтому вопрос готовности к слиянию открыт.

    Источник ↗
  7. 7
    Gemini 3.8 Flash (Google, 2026)

    59,9% в офисных процессах; энтузиасты сравнивают её с уровнем Opus, но та же модель стоила Vals $8,65 за терминальный тест — самый большой счёт за готовую задачу в бюджетном классе.

    Источник ↗
  8. 8
    GPT-6 Luna (OpenAI, 2026)

    Её офисный балл почти утраивается в зависимости от того, кто его считает: 20,2% в одноразовой таблице Meta против 53,2% в стандартном прогоне AA; готовность к слиянию по таблице Cognition — 23,8%.

    Источник ↗
  9. 9
    Qwen3.8-27B (Алибаба Qwen, открытые веса, 2026)

    Специалист по графическому интерфейсу в малом классе: 84,3% в OSWorld-Verified (четвёртое место в общем зачёте) против 5,1% в Terminal-Bench 4.0 — настольные приложения да, контейнерные терминалы нет.

    Источник ↗
  10. 10
    Kimi K3 (Moonshot AI, 2026)

    Поучительная история: ценник $3/$15 всё равно дал 17,7% в таблице Cognition по коду, готовому к слиянию, и $12,48 за терминальный тест в прогоне Vals — одна цена сама по себе агентской надёжности не покупает.

    Источник ↗

Что заметил Z.ai

В малом классе навыки работы с рабочим столом и терминалом почти не связаны: Qwen3.8-27B занимает четвёртое место в OSWorld-Verified (84,3%), но решает 5,1% задач Terminal-Bench 4.0 — выбирайте, исходя из того, где на самом деле выполняются ваши шаги.

Код, готовый к слиянию, одинаково тяжёл на любой цене: даже Claude Opus 5.5, лидер FrontierCode 2.0, проходит тесты сопровождающих лишь в 49,1% случаев, и ни одна дешёвая модель не переходит 35%.

🇨🇳 Kimi10 мест · заметок: 3

Тот же вопрос, ответ одного ИИ — Kimi. Итоговый список выше объединяет все ИИ.

  1. 1
    Claude Haiku 5.5 (2026)

    Единственная малая модель, которая выигрывает колонку кода: 34,9% в FrontierCode 2.0 против 27,2% у Muse Ember, то есть на 7,7 пункта лучше, — при 39,2% в Terminal-Bench.

    Источник ↗
  2. 2
    Meta Muse Ember (2026)

    Выполняет 37,8% офисных процессов — в 2,7 раза больше, чем у Haiku, — но тест слияния у сопровождающих переворачивает результат: 27,2% против 34,9% у Haiku.

    Источник ↗
  3. 3
    GLM-5.3 (2026)

    Лучший результат терминала среди выпущенных открытых весов (43,4%) — открытая модель, которая в командной строке работает лучше каждого дешёвого закрытого конкурента.

    Источник ↗
  4. 4
    DeepSeek V4.1 Flash 1017 (2026)

    Самый дешёвый серьёзный вариант для кода: 19,3% в FrontierCode 2.0 за $0,38 за прогон, при Terminal-Bench 42,3% по заявлению разработчика / 33,8% независимо.

    Источник ↗
  5. 5
    MiniMax M3.1 Flash (2026)

    38,1% в Terminal-Bench 4.0 — на 22 пункта выше Luna при той же выходной цене около $0,60, без опубликованных офисных и кодовых показателей.

    Источник ↗
  6. 6
    GLM-5.3-Flash (2026)

    35,8% в Terminal-Bench 4.0 за $0,36 за задачу — точка соотношения цены и результата, где дешёвая терминальная работа начинает быть надёжной.

    Источник ↗
  7. 7
    GPT-6 Luna (2026)

    Разделение «офис над кодом» в одной модели: сильна в деловых процессах (AutomationBench-AA 53% в одном прогоне AA, 20,2% в более строгой таблице Meta), но 16,4% в Terminal-Bench.

    Источник ↗
  8. 8
    Gemini 3.5 Flash (2026)

    42,6% в AutomationBench-AA — лучший офисный результат среди субфронтирных моделей на момент запуска.

    Источник ↗
  9. 9
    MiMo-V2.6-Flash (2026)

    24,2% в Terminal-Bench 4.0 за $0,21 за задачу — самый дешёвый терминальный показатель прохождения, но с оговоркой: Vals нашёл, что у двух третей её задач по коду ответ может утечь.

  10. 10
    Gemini 3.1 Flash-Lite (2026)

    Меньше $0,05 за офисную задачу — нижняя граница диапазона стоимости AutomationBench-AA, для шагов, где повторный запуск ничего не стоит.

    Источник ↗

Что заметил Kimi

Разделение офис/код реально и велико: Muse Ember обходит Claude Haiku 5.5 на 24 пункта в деловых процессах (37,8 против 13,9) и уступает на 7,7 пункта по коду, готовому к слиянию (27,2 против 34,9) — одна модель для входящих, другая для репозитория.

Таблицы разработчиков завышают: DeepSeek V4.1 Flash 1017 набирает 42,3% в Terminal-Bench 4.0 по оценке самой DeepSeek, но 33,8%, когда его запускает Artificial Analysis, — сдвиг в 8,5 пункта только в одну сторону.

Открытые веса закрыли разрыв в терминале, но не в офисе: GLM-5.3 (43,4%) и DeepSeek V4.1 Flash (42,3%) лидируют среди выпущенных открытых весов в Terminal-Bench 4.0, а ни одна открытая модель не появляется рядом с верхом AutomationBench-AA.

🇨🇳 DeepSeek10 мест · заметок: 2

Тот же вопрос, ответ одного ИИ — DeepSeek. Итоговый список выше объединяет все ИИ.

  1. 1
    Muse Ember (Meta, 2026)

    Единственная дешёвая модель, которая одновременно в топе по деловым процессам (37,8% строго) и конкурентоспособна в терминальной работе (40,9%), хотя лишь 27,2% её патчей для кода были бы приняты в слияние.

    Источник ↗
  2. 2
    Claude Haiku 5.5 (Антропик, 2026)

    Лучший кодер в дешёвом классе, готовый к слиянию: 34,9% в FrontierCode 2.0, но лишь 13,9% строго в офисных процессах — код исправит, таблицу проигнорирует.

    Источник ↗
  3. 3
    DeepSeek V4.1 Flash 1017 (DeepSeek, 2026)

    Терминальный специалист: 42,3% в Terminal-Bench 4.0 и 60,5% в AutomationBench v1.0.6, но лишь 28% в FrontierCode — силён в запуске команд, слабее в отправке патчей, готовых к слиянию.

    Источник ↗
  4. 4
    MiMo-V2.6-Pro (Xiaomi, 2026)

    Сильный офисный исполнитель: 59% в AutomationBench-AA и 35% в Terminal-Bench, но её 24% в FrontierCode означают, что сопровождающий, скорее всего, вернёт патч назад.

    Источник ↗
  5. 5
    MiniMax M3.1 Flash (MiniMax, 2026)

    Чемпион офисных процессов в дешёвом наборе с 72,5% в AutomationBench-AA, но лишь 21% в FrontierCode и 26% в Terminal-Bench — отдавайте ей таблицы, а не запросы на слияние.

    Источник ↗
  6. 6
    GPT-6 Luna (OpenAI, 2026)

    Низкий счёт за задачу ($0,15) скрывает слабые офисные и терминальные результаты: 20,2% строго в AutomationBench, 16,4% в Terminal-Bench и 25,2% в FrontierCode.

    Источник ↗
  7. 7
    GLM-5.3-Flash (Чжипу AI, 2026)

    60% в AutomationBench делают её достойным исполнителем офисных шагов, но 15% в FrontierCode и 33% в Terminal-Bench держат её подальше от работы с репозиторием.

    Источник ↗
  8. 8
    Ling 3.0 Flash (InclusionAI, 2026)

    Примерно $0,054 за задачу — самая дешёвая модель для офиса в этой группе, с 53% в AutomationBench, но лишь 11–15% в FrontierCode и 32,4% в Terminal-Bench.

    Источник ↗
  9. 9
    Gemini 3.8 Flash (Google, 2026)

    60% в AutomationBench на высоком усилии, но лишь 19% в FrontierCode и 20% в Terminal-Bench — напоминание, что офисная компетентность не переносится на код, готовый к слиянию.

    Источник ↗
  10. 10
    Nanbeige4.3-33B (Наньбэйгэ, 2026)

    Небольшая открытая модель, которая обходит Qwen3.8 27B в AutomationBench (53% против 48%), но падает до 11% в FrontierCode — полезный офисный помощник, но не кандидат в слияние сопровождающего.

    Источник ↗

Что заметил DeepSeek

Muse Ember лидирует в таблице дешёвых офисных процессов с 37,8% строго в AutomationBench, но её 27,2% в FrontierCode показывают разделение ясно: модель, которая доводит 30-шаговый деловой процесс до конца, — не та модель, которую сопровождающий хочет видеть в ревью запроса на слияние.

MiniMax M3.1 Flash набирает 72,5% в AutomationBench-AA — выше Muse Ember, — но лишь 21% в FrontierCode. Офисные процессы и код, готовый к слиянию, в дешёвом классе — действительно разные навыки.

🇨🇳 Wenxin10 мест · заметок: 1

Тот же вопрос, ответ одного ИИ — Wenxin. Итоговый список выше объединяет все ИИ.

  1. 1
    Антропик Claude Haiku 4.5 (2026)

    Ведёт офисные процессы и проходит тесты кода — единственная малая модель, которая делает оба хорошо

  2. 2
    OpenAI GPT-4o mini (2026)

    Лучший терминальный исполнитель среди малых моделей — но офисные шаги и код, готовый к слиянию, уступают Haiku

    Источник ↗
  3. 3
    Google Gemini 2.5 Flash-Lite (2026)

    Король офисных процессов в дешёвом классе — доля слияний кода почти не меняет картины

    Источник ↗
  4. 4
    Meta Muse Ember (2026)

    Достаточно хороша в офисе, слаба в коде, готовом к слиянию — 30-шаговые задачи её сильная сторона

  5. 5
    DeepSeek-V3 Lite (2026)

    Патчи для кода проходят чаще, чем её офисная доля — противоположность большинства малых моделей

  6. 6
    Mistral Small 3.1 (2026)

    Надёжная двуязычная офисная модель — доля слияний кода меньше одного патча из четырёх

    Источник ↗
  7. 7
    Cohere Command R+ 08-2026 (малая)

    Лидирует в офисных и RAG-процессах — код и терминал там на втором плане

    Источник ↗
  8. 8
    Qwen 3 4B (2026)

    Терминальные задачи выполняет дёшево — но и офисные процессы, и слияние кода подводят

  9. 9
    Microsoft Phi-4 Mini (2026)

    Самый маленький мозг в списке — офис, код и терминал все ниже 25%

  10. 10
    Stability AI Stable LM 2 1.6B (2026)

    Офисные процессы на 28%, код на 11% — дёшево, да; готова к агентам — нет

Что заметил Wenxin

Ни одна малая модель не проходит больше 38% тестов сопровождающих FrontierCode 2.0; лучшая (Haiku 4.5 с 38%) всё равно проваливает 6 из 10 патчей, готовых к слиянию, — показывая, что «малый» по-прежнему значит «черновик, а не слияние»

🇨🇳 Qwen10 мест · заметок: 2

Тот же вопрос, ответ одного ИИ — Qwen. Итоговый список выше объединяет все ИИ.

  1. 1
    Google Gemini 4 Argon

    Лидирует в таблицах автоматизации SaaS, но застревает на реальных проверках кода сопровождающими.

    Источник ↗
  2. 2
    Meta Muse Ember

    Создана специально для повторяющихся API-вызовов и маршрутизации, которыми агенты заняты весь день.

    Источник ↗
  3. 3
    Алибаба Qwen 2.5 Coder 32B

    Открытый чемпион терминальных задач и патчей, готовых к слиянию.

    Источник ↗
  4. 4
    Антропик Claude Haiku 5.5

    Защитные барьеры безопасности Антропик не дают ей нарушать правила рабочих процессов SaaS.

  5. 5
    OpenAI GPT-4o-mini

    Надёжный запасной вариант для терминальных команд, но слаб в сложных критериях слияния.

    Источник ↗
  6. 6
    Meta Llama 3.3 70B / 3.1 8B

    Локальный выбор по умолчанию для терминальной рутины, отстаёт в оркестрации SaaS.

    Источник ↗
  7. 7
    Mistral Large 4 / Small

    Выше своего веса по строгой системе оценки FrontierCode.

    Источник ↗
  8. 8
    Алибаба Qwen 2.5 7B

    Неожиданно способный офисный ассистент, когда он ограничен рабочими процессами в стиле Zapier.

  9. 9
    DeepSeek Coder V2 / V3-Lite

    Сильна в терминальной автоматизации, но спотыкается о многоприложенческую деловую логику.

    Источник ↗
  10. 10
    Google Gemma 2 9B

    Безопасна для лёгких локальных задач в браузере, но легко путается в сложных спецификациях.

Что заметил Qwen

AutomationBench-AA и FrontierCode 2.0 измеряют противоположные навыки: Gemini 4 Argon громит офисные процессы (77,5%), но набирает лишь 26,3% при реальных слияниях кода сопровождающими.

Terminal-Bench 4.0 благоволит моделям, родным для командной строки, где Qwen 2.5 Coder 32B набирает 65,2%, — что доказывает: терминальным агентам нужно другое обучение, чем агентам с графическим интерфейсом.