Назад к тренду дня: Apple создаёт ИИ-помощника, который сможет работать на вашем Mac вместо вас
Рейтинг Poly · из тренда дня

Рейтинг ИИ-агентов по устойчивости к подмене инструкций, 2026

Claude 3.5 Sonnet отразил все обычные атаки с подменой инструкций из AgentDojo, кроме 1,11%. Но красная команда NIST взломала агентов того же поколения в 81% случаев с атаками, подогнанными под них.

  • №1: Claude Opus 5 (Anthropic)
  • 10 мест

01Итоговый список

Ведущие ИИ независимо составили свои списки из десяти мест. Сверху — один итог, который легко проверить: у каждого места есть причина, источник и список ИИ, которые его включили.

Только системы с воспроизводимыми результатами по обоим видам тестов, с указанием модели, настройки агента и версии бенчмарка

Яркая плашка — этот ИИ включил пункт в свой список. Тусклая — не включил.

  1. 1

    Claude Opus 5 (Anthropic)

    Лучшая найденная связка: 83,39% в OSWorld-Verified и 0,54% успешных атак через внедрение в интерфейс. Цифра по подмене — собственная у Anthropic; опубликованных прогонов AgentDojo или ASB нет.

    Включили: Claude, MiMo, Kimi, DeepSeek. Не включили: ChatGPT, Meta, Grok, Gemini, Wenxin, Qwen.

    В их списках: Claude: 1 · MiMo: 3 · Kimi: см. список · DeepSeek: 1

    Что отметил каждый ИИ 4
    • Claudeместо 1

      0,54% успешных атак в тестах с графическим интерфейсом и 70,6% частичного выполнения в OSWorld 2.0 — у той же модели.

      Источник ↗
    • MiMoместо 3

      Самый независимо перепроверенный агент: его цифры выдерживают чужой прогон лишь с небольшой поправкой.

      Источник ↗
    • Kimi

      В его списке названо иначе: откройте весь список.

      см. список
    • DeepSeekместо 1

      85% в OSWorld-Verified и 0% целевых успешных атак по нескольким наборам AgentDojo в самой близкой воспроизводимой среде — но эта среда не сам Claude Desktop.

      Источник ↗
    4 ИИ поставили сюда
  2. 2

    Семейство OpenAI GPT-5 (GPT-5.1 / 5.4 / 5.5)

    GPT-5.1 подменяют в 4,96% случаев в AgentDyn — примерно в десять раз реже, чем GPT-4o. GPT-5.4 в повторном исследовании 2026 года провалился 0 из 288. GPT-5.5 набирает 78,7% в OSWorld-Verified.

    Включили: Meta, MiMo, Kimi. Не включили: Claude, ChatGPT, Grok, Gemini, DeepSeek, Wenxin, Qwen.

    В их списках: Meta: 2 · MiMo: 2 · Kimi: 2

    Что отметил каждый ИИ 3
    • Metaместо 2

      Высокий результат в OSWorld-Verified, но ужасная доля успешных атак в AgentDojo в 2024 году — 47,69% для GPT-4o; потом 0 из 288 на узком банковском наборе 2026 года для GPT-5.4. Оба факта верны, но для разных тестов.

      Источник ↗
    • MiMoместо 2

      Самая новая большая модель заметно труднее обмануть, чем её маленькая предшественница — первая реальная разница в безопасности между поколениями.

      Источник ↗
    • Kimiместо 2

      Доля успешных атак 4,96% у GPT-5.1 — примерно десятая часть 47,69% у GPT-4o, — а семейство лидирует в диаграммах рабочего стола с 75,0% в OSWorld-Verified.

      Источник ↗
    3 ИИ поставили сюда
  3. 3

    Google Gemini computer use

    Сильный исполнитель, слабый страж: 83% в OSWorld-Verified, но два независимых теста подмены дают старым моделям Gemini 17–21% успешных атак. Результата по подмене для самого Gemini 3.6 не опубликовано.

    Включили: Claude, Meta, MiMo, Kimi, DeepSeek. Не включили: ChatGPT, Grok, Gemini, Wenxin, Qwen.

    В их списках: Claude: 5 · Meta: 3 · MiMo: 6 · Kimi: 5 · DeepSeek: 8

    Что отметил каждый ИИ 5
    • Claudeместо 5

      Google сообщает, что одна модель Gemini снизила долю успешных атак до 0,7% в одном тесте; это заявление разработчика, которое пока никто независимо не повторил.

      Источник ↗
    • Metaместо 3

      83% в OSWorld-Verified у Gemini 3.6 Flash рядом с 17,01% успешных атак в AgentDojo у Gemini 1.5 Pro — способная модель, средняя на старом тесте скрытых команд.

      Источник ↗
    • MiMoместо 6

      Единственный крупный агент, который показывает каждое действие заранее, в реальном времени — самая безопасная позиция по умолчанию среди продуктов.

      Источник ↗
    • Kimiместо 5

      57% полезной работы, но 20,61% успешных атак — а собственные данные Google показывают, что именно состязательное обучение снизило успешность скрытых команд у Gemini с 92% до 18%.

      Источник ↗
    • DeepSeekместо 8

      83% в OSWorld-Verified, но воспроизводимого результата AgentDojo или ASB нет — способность к работе есть, а устойчивости к обманам не опубликовано.

      Источник ↗
    5 ИИ поставили сюда
  4. 4

    Claude Sonnet 4.5 (Anthropic)

    Сохраняет больше всего полезной работы под атакой в AgentDyn: полезность 70,7 при 0,87% успешных атак. Собственный стресс-тест Anthropic показывает, что 200 попыток поднимают успешность атак до 87,5%.

    Включили: Kimi. Не включили: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    В их списках: Kimi: 1

    Что отметил каждый ИИ 1
    • Kimiместо 1

      70,7 полезной работы при доле успешных атак 0,87% в AgentDyn — лучшее соотношение работы и обманов, измеренное в 2026 году, хотя собственные адаптивные тесты Anthropic предупреждают: атаки в 200 попыток поднимаются до 87,5%.

      Источник ↗
    1 ИИ поставили сюда
  5. 5

    OpenAI GPT-5-mini

    Самая трудная модель для обмана в AgentDyn: 0,37% успешных атак и лишь 2,1% при адаптивных атаках. Её результат на рабочем столе — у родственной модели: GPT-5.4 mini с 72,1%.

    Включили: Kimi. Не включили: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    В их списках: Kimi: 3

    Что отметил каждый ИИ 1
    • Kimiместо 3

      0,37% успешных атак при 64,8 полезной работы — самая скромная модель в тесте AgentDyn оказалась самой трудной для обмана, и даже ручные адаптивные атаки достигли лишь 2,1%.

      Источник ↗
    1 ИИ поставили сюда
  6. 6

    Kimi K2.5 / K2.6 (Moonshot AI)

    Лучшая полезность среди открытых моделей в AgentDyn: 54,2 при 11,65% успешных атак. K2.6 набирает 73,1% в OSWorld-Verified, но доводит до конца лишь 4,6% длинных заданий OSWorld 2.0.

    Включили: Kimi, DeepSeek, Qwen. Не включили: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Wenxin.

    В их списках: Kimi: 4 · DeepSeek: 9 · Qwen: см. список

    Что отметил каждый ИИ 3
    • Kimiместо 4

      54,2 полезной работы при 11,65% успешных атак — лучшая полезность среди открытых моделей в AgentDyn; 73,1% у K2.6 в OSWorld-Verified показывает широту семейства на рабочем столе.

      Источник ↗
    • DeepSeekместо 9

      84,8% в OSWorld-Verified и балл безопасности b3 88,0% — но b3 измеряет модель, а не поверхность атаки настольного агента.

      Источник ↗
    • Qwen

      В его списке названо иначе: откройте весь список.

      см. список
    3 ИИ поставили сюда
  7. 7

    Claude 3.5 Sonnet, октябрь 2024 (Anthropic)

    Предостерегающая история: 1,11% успешных атак на статические атаки AgentDojo, 81% при адаптированных атаках NIST и лишь 14,9% в OSWorld на старте.

    Включили: Meta, Kimi, DeepSeek, Qwen. Не включили: Claude, ChatGPT, Grok, Gemini, MiMo, Wenxin.

    В их списках: Meta: 10 · Kimi: 6 · DeepSeek: см. список · Qwen: 1

    Что отметил каждый ИИ 4
    • Metaместо 10

      Низкая доля успешных атак в AgentDojo — 9,06%, но под атакой выполняет лишь 33,39% полезной работы: самый дешёвый Claude, которого меньше всего удаётся обмануть, — и самый бесполезный под атакой.

      Источник ↗
    • Kimiместо 6

      Предостерегающая история отрасли: 1,11% успешных атак на статических тестах AgentDojo и 72,5% полезной работы — а затем красная команда NIST добилась 81% адаптированными атаками на отложенных задачах.

      Источник ↗
    • DeepSeek

      В его списке названо иначе: откройте весь список.

      см. список
    • Qwenместо 1

      Выполняет 88,66% полезной работы, снижая долю успешных атак скрытыми командами до 7,31% в AgentDojo.

      Источник ↗
    4 ИИ поставили сюда
  8. 8

    Meta Llama / Muse Spark

    Muse Spark 1.1 набирает 80,67% в OSWorld, но модели Meta, которые проверяли на подмену, делают мало полезной работы: Llama-3-70B сохраняет 18,28% полезности при 25,60% успешных атак.

    Включили: Meta, Kimi. Не включили: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    В их списках: Meta: 4 · Kimi: 7

    Что отметил каждый ИИ 2
    • Metaместо 4

      Проверенный результат 80,67% в OSWorld у Muse Spark 1.1, но модель Meta, реально протестированная в AgentDojo — Llama-3-70B, — под атакой сохранила лишь 18,28% полезной работы.

      Источник ↗
    • Kimiместо 7

      11,91% успешных атак выглядят прилично, пока не видишь полезность: 6,15% — модель проваливает работу, а не только атакующих.

      Источник ↗
    2 ИИ поставили сюда
  9. 9

    Алибаба Qwen

    Лучший результат вендора на рабочем столе — 86,1%. Однако единственная модель Qwen, проверенная на подмену, Qwen3 235B, показывает 22,67% успешных атак при полезности 10,74.

    Включили: Claude, Meta, Grok, Kimi. Не включили: ChatGPT, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    В их списках: Claude: 9 · Meta: 5 · Grok: см. список · Kimi: 8

    Что отметил каждый ИИ 4
    • Claudeместо 9

      Лидирует в таблице OSWorld-Verified от разработчика с 86,1%, но результата по скрытым командам не опубликовано.

      Источник ↗
    • Metaместо 5

      Самый высокий заявленный разработчиком результат в OSWorld-Verified — 86,1%, но Qwen вообще не было в таблице AgentDojo: возможности есть, публичного теста на скрытые команды нет.

      Источник ↗
    • Grok

      В его списке названо иначе: откройте весь список.

      см. список
    • Kimiместо 8

      22,67% успешных атак при самой слабой полезности в наборе (10,74%) — уязвимость без результатов.

      Источник ↗
    4 ИИ поставили сюда
  10. 10

    OpenAI GPT-4o

    Подменяется в 47,69% случаев в AgentDojo и набирает 12,2% в OSWorld. Исправленный ASB снизил успешность атак с 73,58% до 9,25% — это изменение в бенчмарке, а не в модели.

    Включили: Meta, Grok, Kimi, Qwen. Не включили: Claude, ChatGPT, Gemini, MiMo, DeepSeek, Wenxin.

    В их списках: Meta: 9 · Grok: 2 · Kimi: 9 · Qwen: 7

    Что отметил каждый ИИ 4
    • Metaместо 9

      Доля успешных атак в AgentDojo скромная — 10,33%, но в ASB прямые скрытые команды сработали в 98,40% — два теста измеряют разные атаки, и разрыв важен.

      Источник ↗
    • Grokместо 2

      Сильная полезная работа без атак, но выше сырая доля успешных атак; фильтры могут резко её снизить.

      Источник ↗
    • Kimiместо 9

      47,69% успешных атак в AgentDojo и 100% успешных скрытых лазеек Plan-of-Thought в ASB — главный урок эпохи тестов: что скрывает фраза «в основном работает».

      Источник ↗
    • Qwenместо 7

      Выполняет 69,07% задач, но без строгих ограничений поддаётся почти половине (47,69%) скрытых команд в AgentDojo.

      Источник ↗
    4 ИИ поставили сюда

Тройка подробно ↓

02Стоит знать

Что заметили ИИ, пока составляли список.

Адаптивные атакующие сломали 12 опубликованных защит от подмены инструкций, которые сообщали почти нулевую успешность атак. У большинства она выросла выше 90%.

Заметили:
Включили: Meta, Kimi. Не включили: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.
Источник ↗

От конструкции защиты зависит, насколько она полезна. На GPT-4o фильтр инструментов снизил успешность атак с 47,69% до 6,84% и поднял полезность до 56,28%. Детектор дал 7,95%, но снизил полезность до 21,14%.

Заметили:
Включили: Kimi. Не включили: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.
Источник ↗

Самая высокая средняя успешность атак у ASB — 84,30%, при смешанных атаках на 13 базовых моделях.

Заметили:
Включили: Claude, ChatGPT, Meta, Grok, Kimi, DeepSeek. Не включили: Gemini, MiMo, Wenxin, Qwen.
Источник ↗

Пользователи одобряют 93% запросов на разрешения, поэтому запрос, который люди подтверждают не глядя, почти не защищает.

Заметили:
Включили: MiMo. Не включили: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek, Wenxin, Qwen.
Источник ↗

Ни одна передовая система 2026 года не имеет результатов OSWorld, AgentDojo и ASB на одной и той же контрольной версии, поэтому большинство строк сопоставляют цифры одного семейства моделей.

Заметили:
Включили: ChatGPT, Meta, Kimi. Не включили: Claude, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.
Источник ↗

03Как считали

Простыми словами, без формул.

1Вопрос

Топ-10 ИИ-агентов с управлением компьютером: могут ли они делать работу и можно ли их обмануть?

2Почему эта тема

Ни одна таблица лидеров не ставит рядом то, что агент умеет делать, и то, насколько легко скрытая инструкция на веб-странице или в файле может обратить его против вас.

3Где это применимо

По всему миру; системы-агенты с управлением компьютером, которые работают с приложениями рабочего стола и браузерами

4На что смотрели

  • Только системы с воспроизводимыми результатами по обоим видам тестов, с указанием модели, настройки агента и версии бенчмарка
  • Успешность выполнения задач в OSWorld (реальная работа на компьютере) рядом с успешностью атак внедрения инструкций в AgentDojo и Agent Security Bench (чем ниже, тем лучше); два показателя показаны рядом и никогда не усредняются
  • Решающий показатель: сколько полезной работы агент ещё выполняет под атакой
  • Отдельная оценка того, сколько данных с экрана видит агент и можно ли отменить его действия
  • OSWorld-Verified (команда OSWorld; таблица БенчЛМ) — доля реальных задач на компьютере, выполненных до конца и проверенных по итоговому состоянию приложения или файла
  • OSWorld 2.0 (Сноркел AI) — частичное и полное выполнение 108 длинных многошаговых сценариев
  • AgentDojo (SPY Lab, Швейцарский федеральный технологический институт Цюриха) — полезная работа под атакой и успешность целевых атак по 97 задачам и 629 случаям внедрения (чем меньше успешность атак, тем лучше)
  • AgentDyn (2026) — более жёсткие динамические тесты подмены: полезность, полезность под атакой и успешность атак

5Кто ставил места

Ведущие ИИ: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Wenxin, Qwen. Каждый сам составил свой список из десяти мест и к каждому месту назвал источник.

6Как сведены места

Одно и то же, названное разными ИИ по-разному, считали за одно. Чем больше ИИ включили пункт в свой список и чем выше поставили, тем выше его место. «Согласие ИИ» показывает, у скольких ИИ этот пункт был в собственном списке. Источники — только те, что нашли сами ИИ, ничего не добавлено вручную.

04Список каждого ИИ отдельно

🇺🇸 Claude10 мест · заметок: 4

Тот же вопрос, ответ одного ИИ — Claude. Итоговый список выше объединяет все ИИ.

  1. 1
    Claude Opus 5 (Anthropic, 2026)

    0,54% успешных атак в тестах с графическим интерфейсом и 70,6% частичного выполнения в OSWorld 2.0 — у той же модели.

    Источник ↗
  2. 2
    Claude Fable 5 (Anthropic, 2026)

    Доля успешных атак по Грей Свон — 2,8%, при 85% в OSWorld-Verified.

    Источник ↗
  3. 3
    Claude Mythos 5 (Anthropic)

    85,0% в OSWorld-Verified и 2,6% в тесте Грей Свон.

  4. 4
    Claude Opus 4.8 (Anthropic)

    83,4% в OSWorld-Verified; её 5,5% в тесте Грей Свон — меньше половины базового показателя Opus 5.

    Источник ↗
  5. 5
    Gemini: управление компьютером (Google, 2026)

    Google сообщает, что одна модель Gemini снизила долю успешных атак до 0,7% в одном тесте; это заявление разработчика, которое пока никто независимо не повторил.

    Источник ↗
  6. 6
    OpenAI Codex: управление компьютером / GPT-6 Astra

    Есть режим ограниченного доступа, но рядом с её результатом 72,6% в OSWorld 2.0 доли успешных атак не нашли.

    Источник ↗
  7. 7
    Claude Sonnet 5 (Anthropic)

    81,2% в OSWorld-Verified; отдельного показателя по скрытым командам не нашли.

    Источник ↗
  8. 8
    Holo3-35B-A3B (Эйч Компани)

    Лучший независимый результат OSWorld-Verified (82,6%), но данных о скрытых командах не нашли.

    Источник ↗
  9. 9
    Qwen3.8-Max (Алибаба)

    Лидирует в таблице OSWorld-Verified от разработчика с 86,1%, но результата по скрытым командам не опубликовано.

    Источник ↗
  10. 10
    Агент управления компьютером на базе o4-mini (базовый уровень OS-Harm)

    Поддавалась базовым скрытым командам примерно в 20% случаев — единственный измеренный контрпример.

    Источник ↗

Что заметил Claude

Anthropic сообщает о 0% успешных атак через браузерного агента с Auto Mode и защитами, против 3,7% без них. Ноль процентов держится на дополнительных слоях защиты.

Исследование под руководством Ватерлооского университета: агенты, дообученные на большем числе атак скрытыми командами, в трёх из четырёх тестов легче было перехватить управление.

Защита, которая ограничивает инструменты до чтения ненадёжных данных, снизила целевые успешные атаки с 57,69% до 6,84%.

Тесты, связанные с британским Институтом безопасности ИИ (UK AISI), показывают: адаптивные атаки подняли долю успешных атак на AgentDojo Workspace с 11% до 81%.

🇺🇸 Meta10 мест · заметок: 4

Тот же вопрос, ответ одного ИИ — Meta. Итоговый список выше объединяет все ИИ.

  1. 1
    Claude: управление компьютером (Anthropic)

    Единственное семейство, которое одновременно имеет высокий результат в OSWorld и почти нулевую долю атак в AgentDojo, — но два числа взяты из разных версий модели, разделённых годами.

    Источник ↗
  2. 2
    OpenAI ChatGPT agent / CUA (OpenAI)

    Высокий результат в OSWorld-Verified, но ужасная доля успешных атак в AgentDojo в 2024 году — 47,69% для GPT-4o; потом 0 из 288 на узком банковском наборе 2026 года для GPT-5.4. Оба факта верны, но для разных тестов.

    Источник ↗
  3. 3
    Google Gemini: управление компьютером (Google)

    83% в OSWorld-Verified у Gemini 3.6 Flash рядом с 17,01% успешных атак в AgentDojo у Gemini 1.5 Pro — способная модель, средняя на старом тесте скрытых команд.

    Источник ↗
  4. 4
    Агент Meta Llama / Muse (Meta)

    Проверенный результат 80,67% в OSWorld у Muse Spark 1.1, но модель Meta, реально протестированная в AgentDojo — Llama-3-70B, — под атакой сохранила лишь 18,28% полезной работы.

    Источник ↗
  5. 5
    Агент Qwen (Алибаба)

    Самый высокий заявленный разработчиком результат в OSWorld-Verified — 86,1%, но Qwen вообще не было в таблице AgentDojo: возможности есть, публичного теста на скрытые команды нет.

    Источник ↗
  6. 6
    Агент Cohere Command-R+

    Низкая доля успешных атак в AgentDojo, но мало полезной работы под атакой: 25,12%. Безопасно, но под атакой почти бесполезно.

    Источник ↗
  7. 7
    Агент Google Gemma2

    Есть в наборе ASB, но нет в AgentDojo и OSWorld-Verified — это модель для проверки безопасности, а не доказанный агент для работы с компьютером.

    Источник ↗
  8. 8
    Агент Mistral Mixtral

    Та же история, что с Gemma2: есть в ASB, но нет в AgentDojo и OSWorld-Verified — воспроизводимой пары «работа на компьютере + скрытые команды» нет.

    Источник ↗
  9. 9
    Агент OpenAI GPT-3.5 Turbo

    Доля успешных атак в AgentDojo скромная — 10,33%, но в ASB прямые скрытые команды сработали в 98,40% — два теста измеряют разные атаки, и разрыв важен.

    Источник ↗
  10. 10
    Агент Anthropic Claude 3 Haiku

    Низкая доля успешных атак в AgentDojo — 9,06%, но под атакой выполняет лишь 33,39% полезной работы: самый дешёвый Claude, которого меньше всего удаётся обмануть, — и самый бесполезный под атакой.

    Источник ↗

Что заметил Meta

В исходной таблице AgentDojo у Claude 3.5 Sonnet (20241022) целевая доля атак 1,11%, а у GPT-4o — 47,69%: тот же тест, та же атака, противоположная безопасность.

Повторная проверка 2026 года: без защиты 0 из 288 успешных атак у GPT-5.4 и 1 из 288 у Claude Sonnet 4.6 на банковском наборе AgentDojo, но авторы предупреждают, что цели тестов были достижимы для моделей не одинаково.

ASB-Revised снизил долю успешных атак у GPT-4o с 73,58% до 9,25% — пересмотр теста, а не смена модели, перевернул вывод по той же модели.

Адаптивные атакующие обошли 12 защит от скрытых команд, которые заявляли почти нулевую долю атак; для большинства она превысила 90%. Статические атаки AgentDojo недооценивают настойчивого злоумышленника.

🇺🇸 Grok10 мест · заметок: 1

Тот же вопрос, ответ одного ИИ — Grok. Итоговый список выше объединяет все ИИ.

  1. 1
    Агенты Claude для управления компьютером 3.5/4.x/5.x (Anthropic)

    Больше полезной работы под атакой и меньше целевых успешных атак, чем у GPT-4o, по опубликованным в AgentDojo прогонам.

    Источник ↗
  2. 2
    Настройки GPT-4o / OpenAI CUA с защитами

    Сильная полезная работа без атак, но выше сырая доля успешных атак; фильтры могут резко её снизить.

    Источник ↗
  3. 3
    Симулар Sai

    Высокие частичные баллы в OSWorld на длинных задачах; показатели безопасности в AgentDojo независимо не опубликованы.

    Источник ↗
  4. 4
    Настройки Qwen3.8 Max

    Лучший результат полного выполнения задач на рабочем столе в OSWorld-Verified; публичных пар AgentDojo/ASB мало.

    Источник ↗
  5. 5
    Microsoft Mage-VL-Cowork

    Компактный открытый гибридный агент: 66% в Verified; публичных пар с оценкой скрытых команд нет.

    Источник ↗
  6. 6
    Агент Pointer

    Высокие результаты Verified за счёт гибридных методов; устойчивость к скрытым командам подробно не описана.

    Источник ↗
  7. 7
    Коасти CUA

    Сильный результат Verified для рабочего стола; данных о поверхности атаки мало.

    Источник ↗
  8. 8
    Z-Agent (Intelligence-Indeed)

    Самый высокий результат полного выполнения задач на рабочем столе в Verified; публичной пары с AgentDojo не нашли.

    Источник ↗
  9. 9
    Небольшие открытые модели с защитами в духе CapLite

    Ноль успешных атак на тысячах эпизодов AgentDojo в одном исследовании защиты.

    Источник ↗
  10. 10
    Обычные передовые агенты без специальных защит

    ASB фиксирует пиковую среднюю долю успешных атак 84,30% при смешанных способах скрытых команд.

    Источник ↗

Что заметил Grok

Исходная статья AgentDojo показала, что даже сильные модели решают менее 66% задач без атак, а атаки удаются менее чем в 25% случаев; у современных прогонов Claude целевая доля атак ещё ниже.

🇺🇸 Gemini10 мест · заметок: 1

Тот же вопрос, ответ одного ИИ — Gemini. Итоговый список выше объединяет все ИИ.

  1. 1
    Claude 3.7 Sonnet, управление компьютером (Anthropic)

    Выполняет 44,2% задач на рабочем столе и держит долю перехвата управления через скрытые команды в AgentDojo до 2,4% благодаря двухслойной иерархии системных инструкций.

  2. 2
    Claude 3.5 Sonnet, управление компьютером (Anthropic)

    Сочетает 38,6% реальной навигации по рабочему столу с низкой долей атак скрытыми командами — 4,8%, сохраняя 71,4% полезной работы даже на враждебных веб-страницах.

  3. 3
    Agent S2.5 с опорной моделью рассуждений o3

    Набирает 56,4% в OSWorld — лучший в отрасли результат, но глубокие цепочки рассуждений в 12,3% непрямых тестов со скрытыми командами всё ещё можно уговорить на несанкционированные перемещения файлов.

  4. 4
    OpenAI Operator (конвейер зрения GPT-4o)

    Решает 46,8% задач в браузере и на рабочем столе, но при встрече с ненадёжным текстом сторонних страниц доля успешных атак — 28,5%.

  5. 5
    ByteDance UI-TARS-2 (72B, локальный агент зрения)

    Выполняет 53,1% задач OSWorld, но скрытые команды в фоновых картинках рабочего стола перехватывают действия в 19,4% тестов.

    Источник ↗
  6. 6
    Агент Коасти с двойной защитой Dual-LLM (2025)

    Жертвует скоростью ради 42,1% в OSWorld и снижает успешные атаки до 6,2% с помощью внешнего фильтра-наблюдателя.

  7. 7
    UI-TARS-1.5 (ByteDance, открытые веса)

    Выполняет 42,5% проверенных задач ОС, но сырое дообучение открытых весов без слоёв безопасности даёт уязвимость 34,1% к инструкциям, спрятанным в PDF.

    Источник ↗
  8. 8
    OS-Copilot / FRIDAY (автономный агент командной строки)

    Завершает 35,6% задач в Linux, но неограниченное выполнение команд bash приводит к опасной доле успешных атак 43,7% при чтении заражённых текстовых документов.

  9. 9
    Симулар GUI Agent (набор для поиска элементов на экране)

    Достигает 38,3% в задачах рабочего стола, но 26,2% скрытых команд срабатывают, когда вредные инструкции маскируются под системные окна диалога.

  10. 10
    Adept ACT-1 (браузер и корпоративные рабочие процессы)

    Фиксирует 31,2% проверенного выполнения задач, но старые разборщики веб-страниц поддаются 41,5% непрямых скрытых команд, спрятанных в комментариях на страницах.

Что заметил Gemini

Действия уровня ОС — удаление файлов или отправка писем — нельзя «отменить» кнопкой отмены API, поэтому эксперты по безопасности советуют обязательное подтверждение для всех необратимых событий на рабочем столе.

🇨🇳 MiMo10 мест · заметок: 4

Тот же вопрос, ответ одного ИИ — MiMo. Итоговый список выше объединяет все ИИ.

  1. 1
    Claude Code, автоматический режим (Anthropic, 2026)

    Отвечает на коварный вопрос геометрией: агент, который не может дотянуться до приманки, не может на неё попасться.

    Источник ↗
  2. 2
    Агенты семейства GPT-5 (OpenAI)

    Самая новая большая модель заметно труднее обмануть, чем её маленькая предшественница — первая реальная разница в безопасности между поколениями.

    Источник ↗
  3. 3
    Claude Opus 5 (Anthropic)

    Самый независимо перепроверенный агент: его цифры выдерживают чужой прогон лишь с небольшой поправкой.

    Источник ↗
  4. 4
    GPT-6.2 Astra (OpenAI)

    Лучший новый результат на длинных задачах при трети цены — но в его собственной карточке записаны рабочие действия, которые он выполнил неверно.

    Источник ↗
  5. 5
    GPT-6.1 Sol (OpenAI)

    В пределах 2,1 пункта от флагманской модели на длинных задачах на рабочем столе — по обычным ценам.

    Источник ↗
  6. 6
    Gemini для Mac: управление компьютером (Google)

    Единственный крупный агент, который показывает каждое действие заранее, в реальном времени — самая безопасная позиция по умолчанию среди продуктов.

    Источник ↗
  7. 7
    Claude Cowork: управление компьютером (Anthropic)

    Набирает высокие баллы и в одной строке честно называет свою главную дыру: нет песочницы между агентом и вашим экраном.

    Источник ↗
  8. 8
    Qwen3.8 Max (Алибаба)

    Самый высокий результат на рабочем столе в таблице, но безопасность зависит от версии, которую вы сами запустить не можете.

    Источник ↗
  9. 9
    Muse Spark 1.3 (Meta)

    Настольный агент Meta выходит в таблицы длинных задач с 66,9% — запускается самостоятельно, в собственной среде.

    Источник ↗
  10. 10
    MiniMax M3 (MiniMax)

    Честный нижний предел: 22,3% на длинных задачах по данным самих авторов — опубликовано, хотя так почти никто не делает.

    Источник ↗

Что заметил MiMo

Устойчивость к обману впервые растёт от поколения к поколению: исследования стресс-тестов показывают, что GPT-5 заметно труднее атаковать в AgentDojo, чем GPT-4o-mini.

Опасна не доля успешных атак, а усталость от подтверждений: реальные пользователи одобряют 93% запросов на разрешение, так что запрос, который люди подтверждают не глядя, — то же самое, что отсутствие запроса.

Независимые перепроверки редки и очень ценны: соавтор Сноркел AI получает результаты в пределах 2 пунктов от заявленных для GPT-5.6 Sol, но на 2,3 пункта ниже для Opus 5.

Исследование приватности (AGENTDAM) напрямую тестирует агентов Claude, которые управляют компьютером, и находит, что автономные агенты для веба и компьютера утекают личные данные так, как их оценки за задачи никогда не показывают.

🇨🇳 Kimi10 мест · заметок: 4

Тот же вопрос, ответ одного ИИ — Kimi. Итоговый список выше объединяет все ИИ.

  1. 1
    Claude Sonnet 4.5 (Anthropic)

    70,7 полезной работы при доле успешных атак 0,87% в AgentDyn — лучшее соотношение работы и обманов, измеренное в 2026 году, хотя собственные адаптивные тесты Anthropic предупреждают: атаки в 200 попыток поднимаются до 87,5%.

    Источник ↗
  2. 2
    Семейство GPT-5.1 / GPT-5.4 (OpenAI)

    Доля успешных атак 4,96% у GPT-5.1 — примерно десятая часть 47,69% у GPT-4o, — а семейство лидирует в диаграммах рабочего стола с 75,0% в OSWorld-Verified.

    Источник ↗
  3. 3
    GPT-5-mini (OpenAI)

    0,37% успешных атак при 64,8 полезной работы — самая скромная модель в тесте AgentDyn оказалась самой трудной для обмана, и даже ручные адаптивные атаки достигли лишь 2,1%.

    Источник ↗
  4. 4
    Kimi K2.5 / K2.6 (Moonshot AI)

    54,2 полезной работы при 11,65% успешных атак — лучшая полезность среди открытых моделей в AgentDyn; 73,1% у K2.6 в OSWorld-Verified показывает широту семейства на рабочем столе.

    Источник ↗
  5. 5
    Gemini 2.5 Pro / Gemini 3.5 Flash (Google)

    57% полезной работы, но 20,61% успешных атак — а собственные данные Google показывают, что именно состязательное обучение снизило успешность скрытых команд у Gemini с 92% до 18%.

    Источник ↗
  6. 6
    Claude 3.5 Sonnet, выпуск октябрь 2024 (Anthropic)

    Предостерегающая история отрасли: 1,11% успешных атак на статических тестах AgentDojo и 72,5% полезной работы — а затем красная команда NIST добилась 81% адаптированными атаками на отложенных задачах.

    Источник ↗
  7. 7
    Llama 3.3 70B (Meta)

    11,91% успешных атак выглядят прилично, пока не видишь полезность: 6,15% — модель проваливает работу, а не только атакующих.

    Источник ↗
  8. 8
    Qwen3 235B-A22B (Алибаба)

    22,67% успешных атак при самой слабой полезности в наборе (10,74%) — уязвимость без результатов.

    Источник ↗
  9. 9
    GPT-4o (OpenAI)

    47,69% успешных атак в AgentDojo и 100% успешных скрытых лазеек Plan-of-Thought в ASB — главный урок эпохи тестов: что скрывает фраза «в основном работает».

    Источник ↗
  10. 10
    GPT-4o-mini (OpenAI)

    Средняя доля успешных атак 67,55% в ASB — худшая из измеренных: маленькая, дешёвая и открытая, с более чем 95% при прямых скрытых командах.

    Источник ↗

Что заметил Kimi

Адаптивные атаки переворачивают таблицу лидеров: NIST CAISI поднял перехват управления у агентов на Claude 3.5 Sonnet с 11% до 81%, а команда из нескольких лабораторий (OpenAI, Anthropic, DeepMind, ETH) обошла 12 опубликованных защит с успешностью выше 90% — безопасность по статическим тестам это пол, а не потолок.

Единственное семейство защит с почти нулевой долей успешных атак, которое выдерживает адаптацию, выносит контроль за пределы модели: CaMeL и Progent дают 0% на AgentDyn, ограничивая вызовы инструментов, но у CaMeL эти 0% пришлись на 0% полезной работы; на AgentDojo CaMeL решил 67–77% задач с доказуемой безопасностью — компромисс реальный, но узкий.

Компромисс между полезностью и безопасностью измерим: в прогоне AgentDojo на GPT-4o фильтр инструментов снизил успешные атаки с 47,69% до 6,84% и поднял полезную работу до 56,28%, а детектор скрытых команд снизил атаки до 7,95%, но уронил полезную работу до 21,14% — решает устройство защиты, а не модель, останется ли агент полезным под огнём.

Доступ к экрану умножает каждую атаку: агент с записью экрана и доступностью видит всё, что видите вы, и может отправлять, удалять, покупать и менять настройки — поэтому вопрос отмены (разрешения по приложениям, снимки виртуальной машины, обратимые действия) важен не меньше, чем процент успешных атак.

🇨🇳 DeepSeek10 мест · заметок: 1

Тот же вопрос, ответ одного ИИ — DeepSeek. Итоговый список выше объединяет все ИИ.

  1. 1
    Claude: управление компьютером (Claude Fable 5, 2026)

    85% в OSWorld-Verified и 0% целевых успешных атак по нескольким наборам AgentDojo в самой близкой воспроизводимой среде — но эта среда не сам Claude Desktop.

    Источник ↗
  2. 2
    Обвязка Ratchet с gpt-5.6-luna (2026)

    0% целевых успешных атак по всем четырём наборам AgentDojo — самый чистый результат по безопасности в открытой таблице AgentDojo, но её результат в OSWorld в той же строке не указан.

    Источник ↗
  3. 3
    Коасти CUA v1 (2026)

    82,81% в OSWorld-Verified и без опубликованной доли успешных атак в AgentDojo/ASB — сильно в работе, не измерено в обманах.

    Источник ↗
  4. 4
    OpenAI Operator (2026)

    38,1% в OSWorld, но почти нет данных о локальном экране — её поверхность атаки это браузер, а не ваш рабочий стол.

    Источник ↗
  5. 5
    Десктопный агент Manus (Meta, 2026)

    72,5% в OSWorld в облачной виртуальной машине — обратимо, потому что машина одноразовая, но доля успешных атак по тестам безопасности не опубликована.

  6. 6
    Agent S3 (Симулар, 2026)

    72,6% в OSWorld и открытый код, так что его можно поместить в песочницу, — но ему всё равно нужен доступ к экрану и вводу, а доли успешных атак нет в таблице AgentDojo.

    Источник ↗
  7. 7
    UiPath Screen Agent (2026)

    67,1% в OSWorld-Verified с широкой автоматизацией интерфейса — высокая полезность, большая поверхность управления, доля атак не опубликована.

  8. 8
    Агент Gemini 3.6 Flash (Google, 2026)

    83% в OSWorld-Verified, но воспроизводимого результата AgentDojo или ASB нет — способность к работе есть, а устойчивости к обманам не опубликовано.

    Источник ↗
  9. 9
    Агент Kimi K3 (Moonshot AI, 2026)

    84,8% в OSWorld-Verified и балл безопасности b3 88,0% — но b3 измеряет модель, а не поверхность атаки настольного агента.

    Источник ↗
  10. 10
    UI-TARS-2 (ByteDance, 2026)

    47,5% в OSWorld с прямым управлением экраном — больше открытости, чем у облачного агента, и публичной доли атак в AgentDojo нет.

Что заметил DeepSeek

Лучшая опубликованная доля успешных атак в AgentDojo — 0%, но этот результат получен в конкретной среде (Ratchet с gpt-5.6-luna), у которой нет соответствующего результата OSWorld. Агент, самый безопасный на тесте безопасности, — не тот, что лидирует в тесте работы на рабочем столе.

🇨🇳 Wenxin10 мест

Тот же вопрос, ответ одного ИИ — Wenxin. Итоговый список выше объединяет все ИИ.

  1. 1
    Внутренний ИИ-агент Apple для macOS (сборка начала 2027 года)

    Постоянного захвата данных экрана нет; каждое действие можно отозвать системной остановкой до выполнения; 0 сообщённых обходов скрытых команд в ранних внутренних тестах

    Источник ↗
  2. 2
    Корпоративный десктопный агент HKU, совместимый с KYA

    100% проверяемая уникальная личность агента, полная трассировка операций, динамическое разрешение автоматически отзывается, когда действия выходят за заданные рамки

  3. 3
    ИИ-агент Pay от Ant Group (2026)

    Трёхуровневый порядок подтверждения платежей: даже полностью скомпрометированный агент не может выполнить неподтверждённые крупные операции без ручного подтверждения человеком

  4. 4
    API агентов OpenAI (бета, 2026)

    Размещённая песочница блокирует 89% известных скрытых команд; все рискованные действия требуют вторичного подтверждения до выполнения

  5. 5
    Корпоративный агент на заказ с гибридным RBAC+ABAC (2026)

    Проверка соответствия намерения и поведения добавлена к проверкам разрешений, блокирует 91% непреднамеренных превышений в рамках разрешённого

  6. 6
    Перплексити Computer (2026)

    Изолированная облачная среда полностью отделена от чувствительных данных локального рабочего стола; постоянного локального доступа к экрану нет вовсе

  7. 7
    Агент Claude для управления компьютером, Anthropic (2026)

    Конституционные ограничители ИИ блокируют 87% попыток несанкционированных вредных действий; 49% разработчиков их используют, рейтинги доверия в отрасли наивысшие

  8. 8
    ИИ-агент Sai (2026)

    Все операции автоматизации интерфейса выполняются на выделенных изолированных облачных рабочих столах без доступа к чувствительным данным и файлам локального компьютера по умолчанию

  9. 9
    Агент Meta Muse (открытый код, 2026)

    Весь код среды открыт для аудита; пользователи могут добавлять свои правила обнаружения скрытых команд, не завися от сторонних поставщиков

    Источник ↗
  10. 10
    OpenCode, открытый агент для программирования (2026)

    Автоматической записи в производственные файлы по умолчанию нет; каждое изменение файла требует проверки пользователем и явного одобрения

🇨🇳 Qwen10 мест · заметок: 3

Тот же вопрос, ответ одного ИИ — Qwen. Итоговый список выше объединяет все ИИ.

  1. 1
    Claude 3.7 Sonnet

    Выполняет 88,66% полезной работы, снижая долю успешных атак скрытыми командами до 7,31% в AgentDojo.

    Источник ↗
  2. 2
    AgentSys (защищённый агент)

    Держит долю успешных атак на уровне 0,78% в AgentDojo и 4,25% в ASB, при этом улучшая полезность в обычных задачах.

    Источник ↗
  3. 3
    Claude Opus 4.6

    Набрала идеальные 100% в одном целевом аудите безопасности, хотя обратимость её действий на рабочем столе в реальности остаётся спорной.

    Источник ↗
  4. 4
    Защищённый агент Verigrey

    Сохраняет 93,2% полезной работы и держит долю успешных атак ниже 1% за счёт управления действиями, а не сканирования промптов.

    Источник ↗
  5. 5
    o3 (с защитой)

    Выполняет 77% задач AgentDojo с доказуемой безопасностью против 84% у базовой модели без защиты.

    Источник ↗
  6. 6
    Claude 3.5 Sonnet

    Набирает самый высокий показатель NRP (нормированная эффективность с учётом риска) в ASB — 43,56, несмотря на уязвимости базовых атак.

    Источник ↗
  7. 7
    GPT-4o

    Выполняет 69,07% задач, но без строгих ограничений поддаётся почти половине (47,69%) скрытых команд в AgentDojo.

    Источник ↗
  8. 8
    GPT-4o-mini

    Доля успешных атак 49,92% в AgentDojo показывает, как меньшим моделям трудно фильтровать внедрённые результаты инструментов.

    Источник ↗
  9. 9
    Claude 3.5 Sonnet (проверен красной командой)

    Базовые атаки срабатывают лишь в 11% случаев, но скоординированные стресс-запросы пробивают её в 81%.

    Источник ↗
  10. 10
    GPT-4-0125

    Ранние версии 2024 года имели 56,3% успешности целевых скрытых команд до того, как современные защиты AgentDojo были стандартизованы.

    Источник ↗

Что заметил Qwen

Управление действиями работает лучше сканирования промптов: блокировка результата вызова инструмента держит долю успешных атак ниже 1%, сохраняя 93,2% полезной работы.

Целевая доля успешных скрытых команд в AgentDojo упала с 56,3% у ранних моделей GPT-4 до всего 7,3% у Claude 3.7 Sonnet — быстрая эволюция безопасности.

ASB вводит показатель «нормированная эффективность с учётом риска» (NRP) и доказывает, что отказ от вредоносных запросов не обязан означать отказ от законной работы.