Адаптивные атакующие сломали 12 опубликованных защит от подмены инструкций, которые сообщали почти нулевую успешность атак. У большинства она выросла выше 90%.
Рейтинг ИИ-агентов по устойчивости к подмене инструкций, 2026
Claude 3.5 Sonnet отразил все обычные атаки с подменой инструкций из AgentDojo, кроме 1,11%. Но красная команда NIST взломала агентов того же поколения в 81% случаев с атаками, подогнанными под них.
- №1: Claude Opus 5 (Anthropic)
- 10 мест
01Итоговый список
Ведущие ИИ независимо составили свои списки из десяти мест. Сверху — один итог, который легко проверить: у каждого места есть причина, источник и список ИИ, которые его включили.
Только системы с воспроизводимыми результатами по обоим видам тестов, с указанием модели, настройки агента и версии бенчмарка
Яркая плашка — этот ИИ включил пункт в свой список. Тусклая — не включил.
- 1
Claude Opus 5 (Anthropic)
Лучшая найденная связка: 83,39% в OSWorld-Verified и 0,54% успешных атак через внедрение в интерфейс. Цифра по подмене — собственная у Anthropic; опубликованных прогонов AgentDojo или ASB нет.
Включили: Claude, MiMo, Kimi, DeepSeek. Не включили: ChatGPT, Meta, Grok, Gemini, Wenxin, Qwen.В их списках: Claude: 1 · MiMo: 3 · Kimi: см. список · DeepSeek: 1
Что отметил каждый ИИ 4
- Claudeместо 1
0,54% успешных атак в тестах с графическим интерфейсом и 70,6% частичного выполнения в OSWorld 2.0 — у той же модели.
Источник ↗ - MiMoместо 3
Самый независимо перепроверенный агент: его цифры выдерживают чужой прогон лишь с небольшой поправкой.
Источник ↗ - Kimi
В его списке названо иначе: откройте весь список.
см. список - DeepSeekместо 1
85% в OSWorld-Verified и 0% целевых успешных атак по нескольким наборам AgentDojo в самой близкой воспроизводимой среде — но эта среда не сам Claude Desktop.
Источник ↗
4 ИИ поставили сюда - 2
Семейство OpenAI GPT-5 (GPT-5.1 / 5.4 / 5.5)
GPT-5.1 подменяют в 4,96% случаев в AgentDyn — примерно в десять раз реже, чем GPT-4o. GPT-5.4 в повторном исследовании 2026 года провалился 0 из 288. GPT-5.5 набирает 78,7% в OSWorld-Verified.
Включили: Meta, MiMo, Kimi. Не включили: Claude, ChatGPT, Grok, Gemini, DeepSeek, Wenxin, Qwen.В их списках: Meta: 2 · MiMo: 2 · Kimi: 2
Что отметил каждый ИИ 3
- Metaместо 2
Высокий результат в OSWorld-Verified, но ужасная доля успешных атак в AgentDojo в 2024 году — 47,69% для GPT-4o; потом 0 из 288 на узком банковском наборе 2026 года для GPT-5.4. Оба факта верны, но для разных тестов.
Источник ↗ - MiMoместо 2
Самая новая большая модель заметно труднее обмануть, чем её маленькая предшественница — первая реальная разница в безопасности между поколениями.
Источник ↗ - Kimiместо 2
Доля успешных атак 4,96% у GPT-5.1 — примерно десятая часть 47,69% у GPT-4o, — а семейство лидирует в диаграммах рабочего стола с 75,0% в OSWorld-Verified.
Источник ↗
3 ИИ поставили сюда - 3
Google Gemini computer use
Сильный исполнитель, слабый страж: 83% в OSWorld-Verified, но два независимых теста подмены дают старым моделям Gemini 17–21% успешных атак. Результата по подмене для самого Gemini 3.6 не опубликовано.
Включили: Claude, Meta, MiMo, Kimi, DeepSeek. Не включили: ChatGPT, Grok, Gemini, Wenxin, Qwen.В их списках: Claude: 5 · Meta: 3 · MiMo: 6 · Kimi: 5 · DeepSeek: 8
Что отметил каждый ИИ 5
- Claudeместо 5
Google сообщает, что одна модель Gemini снизила долю успешных атак до 0,7% в одном тесте; это заявление разработчика, которое пока никто независимо не повторил.
Источник ↗ - Metaместо 3
83% в OSWorld-Verified у Gemini 3.6 Flash рядом с 17,01% успешных атак в AgentDojo у Gemini 1.5 Pro — способная модель, средняя на старом тесте скрытых команд.
Источник ↗ - MiMoместо 6
Единственный крупный агент, который показывает каждое действие заранее, в реальном времени — самая безопасная позиция по умолчанию среди продуктов.
Источник ↗ - Kimiместо 5
57% полезной работы, но 20,61% успешных атак — а собственные данные Google показывают, что именно состязательное обучение снизило успешность скрытых команд у Gemini с 92% до 18%.
Источник ↗ - DeepSeekместо 8
83% в OSWorld-Verified, но воспроизводимого результата AgentDojo или ASB нет — способность к работе есть, а устойчивости к обманам не опубликовано.
Источник ↗
5 ИИ поставили сюда - 4
Claude Sonnet 4.5 (Anthropic)
Сохраняет больше всего полезной работы под атакой в AgentDyn: полезность 70,7 при 0,87% успешных атак. Собственный стресс-тест Anthropic показывает, что 200 попыток поднимают успешность атак до 87,5%.
Включили: Kimi. Не включили: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.В их списках: Kimi: 1
Что отметил каждый ИИ 1
- Kimiместо 1
70,7 полезной работы при доле успешных атак 0,87% в AgentDyn — лучшее соотношение работы и обманов, измеренное в 2026 году, хотя собственные адаптивные тесты Anthropic предупреждают: атаки в 200 попыток поднимаются до 87,5%.
Источник ↗
1 ИИ поставили сюда - 5
OpenAI GPT-5-mini
Самая трудная модель для обмана в AgentDyn: 0,37% успешных атак и лишь 2,1% при адаптивных атаках. Её результат на рабочем столе — у родственной модели: GPT-5.4 mini с 72,1%.
Включили: Kimi. Не включили: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.В их списках: Kimi: 3
Что отметил каждый ИИ 1
- Kimiместо 3
0,37% успешных атак при 64,8 полезной работы — самая скромная модель в тесте AgentDyn оказалась самой трудной для обмана, и даже ручные адаптивные атаки достигли лишь 2,1%.
Источник ↗
1 ИИ поставили сюда - 6
Kimi K2.5 / K2.6 (Moonshot AI)
Лучшая полезность среди открытых моделей в AgentDyn: 54,2 при 11,65% успешных атак. K2.6 набирает 73,1% в OSWorld-Verified, но доводит до конца лишь 4,6% длинных заданий OSWorld 2.0.
Включили: Kimi, DeepSeek, Qwen. Не включили: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Wenxin.В их списках: Kimi: 4 · DeepSeek: 9 · Qwen: см. список
Что отметил каждый ИИ 3
- Kimiместо 4
54,2 полезной работы при 11,65% успешных атак — лучшая полезность среди открытых моделей в AgentDyn; 73,1% у K2.6 в OSWorld-Verified показывает широту семейства на рабочем столе.
Источник ↗ - DeepSeekместо 9
84,8% в OSWorld-Verified и балл безопасности b3 88,0% — но b3 измеряет модель, а не поверхность атаки настольного агента.
Источник ↗ - Qwen
В его списке названо иначе: откройте весь список.
см. список
3 ИИ поставили сюда - 7
Claude 3.5 Sonnet, октябрь 2024 (Anthropic)
Предостерегающая история: 1,11% успешных атак на статические атаки AgentDojo, 81% при адаптированных атаках NIST и лишь 14,9% в OSWorld на старте.
Включили: Meta, Kimi, DeepSeek, Qwen. Не включили: Claude, ChatGPT, Grok, Gemini, MiMo, Wenxin.В их списках: Meta: 10 · Kimi: 6 · DeepSeek: см. список · Qwen: 1
Что отметил каждый ИИ 4
- Metaместо 10
Низкая доля успешных атак в AgentDojo — 9,06%, но под атакой выполняет лишь 33,39% полезной работы: самый дешёвый Claude, которого меньше всего удаётся обмануть, — и самый бесполезный под атакой.
Источник ↗ - Kimiместо 6
Предостерегающая история отрасли: 1,11% успешных атак на статических тестах AgentDojo и 72,5% полезной работы — а затем красная команда NIST добилась 81% адаптированными атаками на отложенных задачах.
Источник ↗ - DeepSeek
В его списке названо иначе: откройте весь список.
см. список - Qwenместо 1
Выполняет 88,66% полезной работы, снижая долю успешных атак скрытыми командами до 7,31% в AgentDojo.
Источник ↗
4 ИИ поставили сюда - 8
Meta Llama / Muse Spark
Muse Spark 1.1 набирает 80,67% в OSWorld, но модели Meta, которые проверяли на подмену, делают мало полезной работы: Llama-3-70B сохраняет 18,28% полезности при 25,60% успешных атак.
Включили: Meta, Kimi. Не включили: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.В их списках: Meta: 4 · Kimi: 7
Что отметил каждый ИИ 2
- Metaместо 4
Проверенный результат 80,67% в OSWorld у Muse Spark 1.1, но модель Meta, реально протестированная в AgentDojo — Llama-3-70B, — под атакой сохранила лишь 18,28% полезной работы.
Источник ↗ - Kimiместо 7
11,91% успешных атак выглядят прилично, пока не видишь полезность: 6,15% — модель проваливает работу, а не только атакующих.
Источник ↗
2 ИИ поставили сюда - 9
Алибаба Qwen
Лучший результат вендора на рабочем столе — 86,1%. Однако единственная модель Qwen, проверенная на подмену, Qwen3 235B, показывает 22,67% успешных атак при полезности 10,74.
Включили: Claude, Meta, Grok, Kimi. Не включили: ChatGPT, Gemini, MiMo, DeepSeek, Wenxin, Qwen.В их списках: Claude: 9 · Meta: 5 · Grok: см. список · Kimi: 8
Что отметил каждый ИИ 4
- Claudeместо 9
Лидирует в таблице OSWorld-Verified от разработчика с 86,1%, но результата по скрытым командам не опубликовано.
Источник ↗ - Metaместо 5
Самый высокий заявленный разработчиком результат в OSWorld-Verified — 86,1%, но Qwen вообще не было в таблице AgentDojo: возможности есть, публичного теста на скрытые команды нет.
Источник ↗ - Grok
В его списке названо иначе: откройте весь список.
см. список - Kimiместо 8
22,67% успешных атак при самой слабой полезности в наборе (10,74%) — уязвимость без результатов.
Источник ↗
4 ИИ поставили сюда - 10
OpenAI GPT-4o
Подменяется в 47,69% случаев в AgentDojo и набирает 12,2% в OSWorld. Исправленный ASB снизил успешность атак с 73,58% до 9,25% — это изменение в бенчмарке, а не в модели.
Включили: Meta, Grok, Kimi, Qwen. Не включили: Claude, ChatGPT, Gemini, MiMo, DeepSeek, Wenxin.В их списках: Meta: 9 · Grok: 2 · Kimi: 9 · Qwen: 7
Что отметил каждый ИИ 4
- Metaместо 9
Доля успешных атак в AgentDojo скромная — 10,33%, но в ASB прямые скрытые команды сработали в 98,40% — два теста измеряют разные атаки, и разрыв важен.
Источник ↗ - Grokместо 2
Сильная полезная работа без атак, но выше сырая доля успешных атак; фильтры могут резко её снизить.
Источник ↗ - Kimiместо 9
47,69% успешных атак в AgentDojo и 100% успешных скрытых лазеек Plan-of-Thought в ASB — главный урок эпохи тестов: что скрывает фраза «в основном работает».
Источник ↗ - Qwenместо 7
Выполняет 69,07% задач, но без строгих ограничений поддаётся почти половине (47,69%) скрытых команд в AgentDojo.
Источник ↗
4 ИИ поставили сюда
02Стоит знать
Что заметили ИИ, пока составляли список.
От конструкции защиты зависит, насколько она полезна. На GPT-4o фильтр инструментов снизил успешность атак с 47,69% до 6,84% и поднял полезность до 56,28%. Детектор дал 7,95%, но снизил полезность до 21,14%.
Самая высокая средняя успешность атак у ASB — 84,30%, при смешанных атаках на 13 базовых моделях.
Пользователи одобряют 93% запросов на разрешения, поэтому запрос, который люди подтверждают не глядя, почти не защищает.
Ни одна передовая система 2026 года не имеет результатов OSWorld, AgentDojo и ASB на одной и той же контрольной версии, поэтому большинство строк сопоставляют цифры одного семейства моделей.
03Как считали
Простыми словами, без формул.
1Вопрос
Топ-10 ИИ-агентов с управлением компьютером: могут ли они делать работу и можно ли их обмануть?
2Почему эта тема
Ни одна таблица лидеров не ставит рядом то, что агент умеет делать, и то, насколько легко скрытая инструкция на веб-странице или в файле может обратить его против вас.
3Где это применимо
По всему миру; системы-агенты с управлением компьютером, которые работают с приложениями рабочего стола и браузерами
4На что смотрели
- Только системы с воспроизводимыми результатами по обоим видам тестов, с указанием модели, настройки агента и версии бенчмарка
- Успешность выполнения задач в OSWorld (реальная работа на компьютере) рядом с успешностью атак внедрения инструкций в AgentDojo и Agent Security Bench (чем ниже, тем лучше); два показателя показаны рядом и никогда не усредняются
- Решающий показатель: сколько полезной работы агент ещё выполняет под атакой
- Отдельная оценка того, сколько данных с экрана видит агент и можно ли отменить его действия
- OSWorld-Verified (команда OSWorld; таблица БенчЛМ) — доля реальных задач на компьютере, выполненных до конца и проверенных по итоговому состоянию приложения или файла
- OSWorld 2.0 (Сноркел AI) — частичное и полное выполнение 108 длинных многошаговых сценариев
- AgentDojo (SPY Lab, Швейцарский федеральный технологический институт Цюриха) — полезная работа под атакой и успешность целевых атак по 97 задачам и 629 случаям внедрения (чем меньше успешность атак, тем лучше)
- AgentDyn (2026) — более жёсткие динамические тесты подмены: полезность, полезность под атакой и успешность атак
5Кто ставил места
Ведущие ИИ: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Wenxin, Qwen. Каждый сам составил свой список из десяти мест и к каждому месту назвал источник.
6Как сведены места
Одно и то же, названное разными ИИ по-разному, считали за одно. Чем больше ИИ включили пункт в свой список и чем выше поставили, тем выше его место. «Согласие ИИ» показывает, у скольких ИИ этот пункт был в собственном списке. Источники — только те, что нашли сами ИИ, ничего не добавлено вручную.
04Список каждого ИИ отдельно
🇺🇸 Claude10 мест · заметок: 4
Тот же вопрос, ответ одного ИИ — Claude. Итоговый список выше объединяет все ИИ.
- 1Claude Opus 5 (Anthropic, 2026)
0,54% успешных атак в тестах с графическим интерфейсом и 70,6% частичного выполнения в OSWorld 2.0 — у той же модели.
Источник ↗ - 2Claude Fable 5 (Anthropic, 2026)
Доля успешных атак по Грей Свон — 2,8%, при 85% в OSWorld-Verified.
Источник ↗ - 3Claude Mythos 5 (Anthropic)
85,0% в OSWorld-Verified и 2,6% в тесте Грей Свон.
- 4Claude Opus 4.8 (Anthropic)
83,4% в OSWorld-Verified; её 5,5% в тесте Грей Свон — меньше половины базового показателя Opus 5.
Источник ↗ - 5Gemini: управление компьютером (Google, 2026)
Google сообщает, что одна модель Gemini снизила долю успешных атак до 0,7% в одном тесте; это заявление разработчика, которое пока никто независимо не повторил.
Источник ↗ - 6OpenAI Codex: управление компьютером / GPT-6 Astra
Есть режим ограниченного доступа, но рядом с её результатом 72,6% в OSWorld 2.0 доли успешных атак не нашли.
Источник ↗ - 7Claude Sonnet 5 (Anthropic)
81,2% в OSWorld-Verified; отдельного показателя по скрытым командам не нашли.
Источник ↗ - 8Holo3-35B-A3B (Эйч Компани)
Лучший независимый результат OSWorld-Verified (82,6%), но данных о скрытых командах не нашли.
Источник ↗ - 9Qwen3.8-Max (Алибаба)
Лидирует в таблице OSWorld-Verified от разработчика с 86,1%, но результата по скрытым командам не опубликовано.
Источник ↗ - 10Агент управления компьютером на базе o4-mini (базовый уровень OS-Harm)
Поддавалась базовым скрытым командам примерно в 20% случаев — единственный измеренный контрпример.
Источник ↗
Что заметил Claude
Anthropic сообщает о 0% успешных атак через браузерного агента с Auto Mode и защитами, против 3,7% без них. Ноль процентов держится на дополнительных слоях защиты.
Исследование под руководством Ватерлооского университета: агенты, дообученные на большем числе атак скрытыми командами, в трёх из четырёх тестов легче было перехватить управление.
Защита, которая ограничивает инструменты до чтения ненадёжных данных, снизила целевые успешные атаки с 57,69% до 6,84%.
Тесты, связанные с британским Институтом безопасности ИИ (UK AISI), показывают: адаптивные атаки подняли долю успешных атак на AgentDojo Workspace с 11% до 81%.
🇺🇸 Meta10 мест · заметок: 4
Тот же вопрос, ответ одного ИИ — Meta. Итоговый список выше объединяет все ИИ.
- 1Claude: управление компьютером (Anthropic)
Единственное семейство, которое одновременно имеет высокий результат в OSWorld и почти нулевую долю атак в AgentDojo, — но два числа взяты из разных версий модели, разделённых годами.
Источник ↗ - 2OpenAI ChatGPT agent / CUA (OpenAI)
Высокий результат в OSWorld-Verified, но ужасная доля успешных атак в AgentDojo в 2024 году — 47,69% для GPT-4o; потом 0 из 288 на узком банковском наборе 2026 года для GPT-5.4. Оба факта верны, но для разных тестов.
Источник ↗ - 3Google Gemini: управление компьютером (Google)
83% в OSWorld-Verified у Gemini 3.6 Flash рядом с 17,01% успешных атак в AgentDojo у Gemini 1.5 Pro — способная модель, средняя на старом тесте скрытых команд.
Источник ↗ - 4Агент Meta Llama / Muse (Meta)
Проверенный результат 80,67% в OSWorld у Muse Spark 1.1, но модель Meta, реально протестированная в AgentDojo — Llama-3-70B, — под атакой сохранила лишь 18,28% полезной работы.
Источник ↗ - 5Агент Qwen (Алибаба)
Самый высокий заявленный разработчиком результат в OSWorld-Verified — 86,1%, но Qwen вообще не было в таблице AgentDojo: возможности есть, публичного теста на скрытые команды нет.
Источник ↗ - 6Агент Cohere Command-R+
Низкая доля успешных атак в AgentDojo, но мало полезной работы под атакой: 25,12%. Безопасно, но под атакой почти бесполезно.
Источник ↗ - 7Агент Google Gemma2
Есть в наборе ASB, но нет в AgentDojo и OSWorld-Verified — это модель для проверки безопасности, а не доказанный агент для работы с компьютером.
Источник ↗ - 8Агент Mistral Mixtral
Та же история, что с Gemma2: есть в ASB, но нет в AgentDojo и OSWorld-Verified — воспроизводимой пары «работа на компьютере + скрытые команды» нет.
Источник ↗ - 9Агент OpenAI GPT-3.5 Turbo
Доля успешных атак в AgentDojo скромная — 10,33%, но в ASB прямые скрытые команды сработали в 98,40% — два теста измеряют разные атаки, и разрыв важен.
Источник ↗ - 10Агент Anthropic Claude 3 Haiku
Низкая доля успешных атак в AgentDojo — 9,06%, но под атакой выполняет лишь 33,39% полезной работы: самый дешёвый Claude, которого меньше всего удаётся обмануть, — и самый бесполезный под атакой.
Источник ↗
Что заметил Meta
В исходной таблице AgentDojo у Claude 3.5 Sonnet (20241022) целевая доля атак 1,11%, а у GPT-4o — 47,69%: тот же тест, та же атака, противоположная безопасность.
Повторная проверка 2026 года: без защиты 0 из 288 успешных атак у GPT-5.4 и 1 из 288 у Claude Sonnet 4.6 на банковском наборе AgentDojo, но авторы предупреждают, что цели тестов были достижимы для моделей не одинаково.
ASB-Revised снизил долю успешных атак у GPT-4o с 73,58% до 9,25% — пересмотр теста, а не смена модели, перевернул вывод по той же модели.
Адаптивные атакующие обошли 12 защит от скрытых команд, которые заявляли почти нулевую долю атак; для большинства она превысила 90%. Статические атаки AgentDojo недооценивают настойчивого злоумышленника.
🇺🇸 Grok10 мест · заметок: 1
Тот же вопрос, ответ одного ИИ — Grok. Итоговый список выше объединяет все ИИ.
- 1Агенты Claude для управления компьютером 3.5/4.x/5.x (Anthropic)
Больше полезной работы под атакой и меньше целевых успешных атак, чем у GPT-4o, по опубликованным в AgentDojo прогонам.
Источник ↗ - 2Настройки GPT-4o / OpenAI CUA с защитами
Сильная полезная работа без атак, но выше сырая доля успешных атак; фильтры могут резко её снизить.
Источник ↗ - 3Симулар Sai
Высокие частичные баллы в OSWorld на длинных задачах; показатели безопасности в AgentDojo независимо не опубликованы.
Источник ↗ - 4Настройки Qwen3.8 Max
Лучший результат полного выполнения задач на рабочем столе в OSWorld-Verified; публичных пар AgentDojo/ASB мало.
Источник ↗ - 5Microsoft Mage-VL-Cowork
Компактный открытый гибридный агент: 66% в Verified; публичных пар с оценкой скрытых команд нет.
Источник ↗ - 6Агент Pointer
Высокие результаты Verified за счёт гибридных методов; устойчивость к скрытым командам подробно не описана.
Источник ↗ - 7Коасти CUA
Сильный результат Verified для рабочего стола; данных о поверхности атаки мало.
Источник ↗ - 8Z-Agent (Intelligence-Indeed)
Самый высокий результат полного выполнения задач на рабочем столе в Verified; публичной пары с AgentDojo не нашли.
Источник ↗ - 9Небольшие открытые модели с защитами в духе CapLite
Ноль успешных атак на тысячах эпизодов AgentDojo в одном исследовании защиты.
Источник ↗ - 10Обычные передовые агенты без специальных защит
ASB фиксирует пиковую среднюю долю успешных атак 84,30% при смешанных способах скрытых команд.
Источник ↗
Что заметил Grok
Исходная статья AgentDojo показала, что даже сильные модели решают менее 66% задач без атак, а атаки удаются менее чем в 25% случаев; у современных прогонов Claude целевая доля атак ещё ниже.
🇺🇸 Gemini10 мест · заметок: 1
Тот же вопрос, ответ одного ИИ — Gemini. Итоговый список выше объединяет все ИИ.
- 1Claude 3.7 Sonnet, управление компьютером (Anthropic)
Выполняет 44,2% задач на рабочем столе и держит долю перехвата управления через скрытые команды в AgentDojo до 2,4% благодаря двухслойной иерархии системных инструкций.
- 2Claude 3.5 Sonnet, управление компьютером (Anthropic)
Сочетает 38,6% реальной навигации по рабочему столу с низкой долей атак скрытыми командами — 4,8%, сохраняя 71,4% полезной работы даже на враждебных веб-страницах.
- 3Agent S2.5 с опорной моделью рассуждений o3
Набирает 56,4% в OSWorld — лучший в отрасли результат, но глубокие цепочки рассуждений в 12,3% непрямых тестов со скрытыми командами всё ещё можно уговорить на несанкционированные перемещения файлов.
- 4OpenAI Operator (конвейер зрения GPT-4o)
Решает 46,8% задач в браузере и на рабочем столе, но при встрече с ненадёжным текстом сторонних страниц доля успешных атак — 28,5%.
- 5ByteDance UI-TARS-2 (72B, локальный агент зрения)
Выполняет 53,1% задач OSWorld, но скрытые команды в фоновых картинках рабочего стола перехватывают действия в 19,4% тестов.
Источник ↗ - 6Агент Коасти с двойной защитой Dual-LLM (2025)
Жертвует скоростью ради 42,1% в OSWorld и снижает успешные атаки до 6,2% с помощью внешнего фильтра-наблюдателя.
- 7UI-TARS-1.5 (ByteDance, открытые веса)
Выполняет 42,5% проверенных задач ОС, но сырое дообучение открытых весов без слоёв безопасности даёт уязвимость 34,1% к инструкциям, спрятанным в PDF.
Источник ↗ - 8OS-Copilot / FRIDAY (автономный агент командной строки)
Завершает 35,6% задач в Linux, но неограниченное выполнение команд bash приводит к опасной доле успешных атак 43,7% при чтении заражённых текстовых документов.
- 9Симулар GUI Agent (набор для поиска элементов на экране)
Достигает 38,3% в задачах рабочего стола, но 26,2% скрытых команд срабатывают, когда вредные инструкции маскируются под системные окна диалога.
- 10Adept ACT-1 (браузер и корпоративные рабочие процессы)
Фиксирует 31,2% проверенного выполнения задач, но старые разборщики веб-страниц поддаются 41,5% непрямых скрытых команд, спрятанных в комментариях на страницах.
Что заметил Gemini
Действия уровня ОС — удаление файлов или отправка писем — нельзя «отменить» кнопкой отмены API, поэтому эксперты по безопасности советуют обязательное подтверждение для всех необратимых событий на рабочем столе.
🇨🇳 MiMo10 мест · заметок: 4
Тот же вопрос, ответ одного ИИ — MiMo. Итоговый список выше объединяет все ИИ.
- 1Claude Code, автоматический режим (Anthropic, 2026)
Отвечает на коварный вопрос геометрией: агент, который не может дотянуться до приманки, не может на неё попасться.
Источник ↗ - 2Агенты семейства GPT-5 (OpenAI)
Самая новая большая модель заметно труднее обмануть, чем её маленькая предшественница — первая реальная разница в безопасности между поколениями.
Источник ↗ - 3Claude Opus 5 (Anthropic)
Самый независимо перепроверенный агент: его цифры выдерживают чужой прогон лишь с небольшой поправкой.
Источник ↗ - 4GPT-6.2 Astra (OpenAI)
Лучший новый результат на длинных задачах при трети цены — но в его собственной карточке записаны рабочие действия, которые он выполнил неверно.
Источник ↗ - 5GPT-6.1 Sol (OpenAI)
В пределах 2,1 пункта от флагманской модели на длинных задачах на рабочем столе — по обычным ценам.
Источник ↗ - 6Gemini для Mac: управление компьютером (Google)
Единственный крупный агент, который показывает каждое действие заранее, в реальном времени — самая безопасная позиция по умолчанию среди продуктов.
Источник ↗ - 7Claude Cowork: управление компьютером (Anthropic)
Набирает высокие баллы и в одной строке честно называет свою главную дыру: нет песочницы между агентом и вашим экраном.
Источник ↗ - 8Qwen3.8 Max (Алибаба)
Самый высокий результат на рабочем столе в таблице, но безопасность зависит от версии, которую вы сами запустить не можете.
Источник ↗ - 9Muse Spark 1.3 (Meta)
Настольный агент Meta выходит в таблицы длинных задач с 66,9% — запускается самостоятельно, в собственной среде.
Источник ↗ - 10MiniMax M3 (MiniMax)
Честный нижний предел: 22,3% на длинных задачах по данным самих авторов — опубликовано, хотя так почти никто не делает.
Источник ↗
Что заметил MiMo
Устойчивость к обману впервые растёт от поколения к поколению: исследования стресс-тестов показывают, что GPT-5 заметно труднее атаковать в AgentDojo, чем GPT-4o-mini.
Опасна не доля успешных атак, а усталость от подтверждений: реальные пользователи одобряют 93% запросов на разрешение, так что запрос, который люди подтверждают не глядя, — то же самое, что отсутствие запроса.
Независимые перепроверки редки и очень ценны: соавтор Сноркел AI получает результаты в пределах 2 пунктов от заявленных для GPT-5.6 Sol, но на 2,3 пункта ниже для Opus 5.
Исследование приватности (AGENTDAM) напрямую тестирует агентов Claude, которые управляют компьютером, и находит, что автономные агенты для веба и компьютера утекают личные данные так, как их оценки за задачи никогда не показывают.
🇨🇳 Kimi10 мест · заметок: 4
Тот же вопрос, ответ одного ИИ — Kimi. Итоговый список выше объединяет все ИИ.
- 1Claude Sonnet 4.5 (Anthropic)
70,7 полезной работы при доле успешных атак 0,87% в AgentDyn — лучшее соотношение работы и обманов, измеренное в 2026 году, хотя собственные адаптивные тесты Anthropic предупреждают: атаки в 200 попыток поднимаются до 87,5%.
Источник ↗ - 2Семейство GPT-5.1 / GPT-5.4 (OpenAI)
Доля успешных атак 4,96% у GPT-5.1 — примерно десятая часть 47,69% у GPT-4o, — а семейство лидирует в диаграммах рабочего стола с 75,0% в OSWorld-Verified.
Источник ↗ - 3GPT-5-mini (OpenAI)
0,37% успешных атак при 64,8 полезной работы — самая скромная модель в тесте AgentDyn оказалась самой трудной для обмана, и даже ручные адаптивные атаки достигли лишь 2,1%.
Источник ↗ - 4Kimi K2.5 / K2.6 (Moonshot AI)
54,2 полезной работы при 11,65% успешных атак — лучшая полезность среди открытых моделей в AgentDyn; 73,1% у K2.6 в OSWorld-Verified показывает широту семейства на рабочем столе.
Источник ↗ - 5Gemini 2.5 Pro / Gemini 3.5 Flash (Google)
57% полезной работы, но 20,61% успешных атак — а собственные данные Google показывают, что именно состязательное обучение снизило успешность скрытых команд у Gemini с 92% до 18%.
Источник ↗ - 6Claude 3.5 Sonnet, выпуск октябрь 2024 (Anthropic)
Предостерегающая история отрасли: 1,11% успешных атак на статических тестах AgentDojo и 72,5% полезной работы — а затем красная команда NIST добилась 81% адаптированными атаками на отложенных задачах.
Источник ↗ - 7Llama 3.3 70B (Meta)
11,91% успешных атак выглядят прилично, пока не видишь полезность: 6,15% — модель проваливает работу, а не только атакующих.
Источник ↗ - 8Qwen3 235B-A22B (Алибаба)
22,67% успешных атак при самой слабой полезности в наборе (10,74%) — уязвимость без результатов.
Источник ↗ - 9GPT-4o (OpenAI)
47,69% успешных атак в AgentDojo и 100% успешных скрытых лазеек Plan-of-Thought в ASB — главный урок эпохи тестов: что скрывает фраза «в основном работает».
Источник ↗ - 10GPT-4o-mini (OpenAI)
Средняя доля успешных атак 67,55% в ASB — худшая из измеренных: маленькая, дешёвая и открытая, с более чем 95% при прямых скрытых командах.
Источник ↗
Что заметил Kimi
Адаптивные атаки переворачивают таблицу лидеров: NIST CAISI поднял перехват управления у агентов на Claude 3.5 Sonnet с 11% до 81%, а команда из нескольких лабораторий (OpenAI, Anthropic, DeepMind, ETH) обошла 12 опубликованных защит с успешностью выше 90% — безопасность по статическим тестам это пол, а не потолок.
Единственное семейство защит с почти нулевой долей успешных атак, которое выдерживает адаптацию, выносит контроль за пределы модели: CaMeL и Progent дают 0% на AgentDyn, ограничивая вызовы инструментов, но у CaMeL эти 0% пришлись на 0% полезной работы; на AgentDojo CaMeL решил 67–77% задач с доказуемой безопасностью — компромисс реальный, но узкий.
Компромисс между полезностью и безопасностью измерим: в прогоне AgentDojo на GPT-4o фильтр инструментов снизил успешные атаки с 47,69% до 6,84% и поднял полезную работу до 56,28%, а детектор скрытых команд снизил атаки до 7,95%, но уронил полезную работу до 21,14% — решает устройство защиты, а не модель, останется ли агент полезным под огнём.
Доступ к экрану умножает каждую атаку: агент с записью экрана и доступностью видит всё, что видите вы, и может отправлять, удалять, покупать и менять настройки — поэтому вопрос отмены (разрешения по приложениям, снимки виртуальной машины, обратимые действия) важен не меньше, чем процент успешных атак.
🇨🇳 DeepSeek10 мест · заметок: 1
Тот же вопрос, ответ одного ИИ — DeepSeek. Итоговый список выше объединяет все ИИ.
- 1Claude: управление компьютером (Claude Fable 5, 2026)
85% в OSWorld-Verified и 0% целевых успешных атак по нескольким наборам AgentDojo в самой близкой воспроизводимой среде — но эта среда не сам Claude Desktop.
Источник ↗ - 2Обвязка Ratchet с gpt-5.6-luna (2026)
0% целевых успешных атак по всем четырём наборам AgentDojo — самый чистый результат по безопасности в открытой таблице AgentDojo, но её результат в OSWorld в той же строке не указан.
Источник ↗ - 3Коасти CUA v1 (2026)
82,81% в OSWorld-Verified и без опубликованной доли успешных атак в AgentDojo/ASB — сильно в работе, не измерено в обманах.
Источник ↗ - 4OpenAI Operator (2026)
38,1% в OSWorld, но почти нет данных о локальном экране — её поверхность атаки это браузер, а не ваш рабочий стол.
Источник ↗ - 5Десктопный агент Manus (Meta, 2026)
72,5% в OSWorld в облачной виртуальной машине — обратимо, потому что машина одноразовая, но доля успешных атак по тестам безопасности не опубликована.
- 6Agent S3 (Симулар, 2026)
72,6% в OSWorld и открытый код, так что его можно поместить в песочницу, — но ему всё равно нужен доступ к экрану и вводу, а доли успешных атак нет в таблице AgentDojo.
Источник ↗ - 7UiPath Screen Agent (2026)
67,1% в OSWorld-Verified с широкой автоматизацией интерфейса — высокая полезность, большая поверхность управления, доля атак не опубликована.
- 8Агент Gemini 3.6 Flash (Google, 2026)
83% в OSWorld-Verified, но воспроизводимого результата AgentDojo или ASB нет — способность к работе есть, а устойчивости к обманам не опубликовано.
Источник ↗ - 9Агент Kimi K3 (Moonshot AI, 2026)
84,8% в OSWorld-Verified и балл безопасности b3 88,0% — но b3 измеряет модель, а не поверхность атаки настольного агента.
Источник ↗ - 10UI-TARS-2 (ByteDance, 2026)
47,5% в OSWorld с прямым управлением экраном — больше открытости, чем у облачного агента, и публичной доли атак в AgentDojo нет.
Что заметил DeepSeek
Лучшая опубликованная доля успешных атак в AgentDojo — 0%, но этот результат получен в конкретной среде (Ratchet с gpt-5.6-luna), у которой нет соответствующего результата OSWorld. Агент, самый безопасный на тесте безопасности, — не тот, что лидирует в тесте работы на рабочем столе.
🇨🇳 Wenxin10 мест
Тот же вопрос, ответ одного ИИ — Wenxin. Итоговый список выше объединяет все ИИ.
- 1Внутренний ИИ-агент Apple для macOS (сборка начала 2027 года)
Постоянного захвата данных экрана нет; каждое действие можно отозвать системной остановкой до выполнения; 0 сообщённых обходов скрытых команд в ранних внутренних тестах
Источник ↗ - 2Корпоративный десктопный агент HKU, совместимый с KYA
100% проверяемая уникальная личность агента, полная трассировка операций, динамическое разрешение автоматически отзывается, когда действия выходят за заданные рамки
- 3ИИ-агент Pay от Ant Group (2026)
Трёхуровневый порядок подтверждения платежей: даже полностью скомпрометированный агент не может выполнить неподтверждённые крупные операции без ручного подтверждения человеком
- 4API агентов OpenAI (бета, 2026)
Размещённая песочница блокирует 89% известных скрытых команд; все рискованные действия требуют вторичного подтверждения до выполнения
- 5Корпоративный агент на заказ с гибридным RBAC+ABAC (2026)
Проверка соответствия намерения и поведения добавлена к проверкам разрешений, блокирует 91% непреднамеренных превышений в рамках разрешённого
- 6Перплексити Computer (2026)
Изолированная облачная среда полностью отделена от чувствительных данных локального рабочего стола; постоянного локального доступа к экрану нет вовсе
- 7Агент Claude для управления компьютером, Anthropic (2026)
Конституционные ограничители ИИ блокируют 87% попыток несанкционированных вредных действий; 49% разработчиков их используют, рейтинги доверия в отрасли наивысшие
- 8ИИ-агент Sai (2026)
Все операции автоматизации интерфейса выполняются на выделенных изолированных облачных рабочих столах без доступа к чувствительным данным и файлам локального компьютера по умолчанию
- 9Агент Meta Muse (открытый код, 2026)
Весь код среды открыт для аудита; пользователи могут добавлять свои правила обнаружения скрытых команд, не завися от сторонних поставщиков
Источник ↗ - 10OpenCode, открытый агент для программирования (2026)
Автоматической записи в производственные файлы по умолчанию нет; каждое изменение файла требует проверки пользователем и явного одобрения
🇨🇳 Qwen10 мест · заметок: 3
Тот же вопрос, ответ одного ИИ — Qwen. Итоговый список выше объединяет все ИИ.
- 1Claude 3.7 Sonnet
Выполняет 88,66% полезной работы, снижая долю успешных атак скрытыми командами до 7,31% в AgentDojo.
Источник ↗ - 2AgentSys (защищённый агент)
Держит долю успешных атак на уровне 0,78% в AgentDojo и 4,25% в ASB, при этом улучшая полезность в обычных задачах.
Источник ↗ - 3Claude Opus 4.6
Набрала идеальные 100% в одном целевом аудите безопасности, хотя обратимость её действий на рабочем столе в реальности остаётся спорной.
Источник ↗ - 4Защищённый агент Verigrey
Сохраняет 93,2% полезной работы и держит долю успешных атак ниже 1% за счёт управления действиями, а не сканирования промптов.
Источник ↗ - 5o3 (с защитой)
Выполняет 77% задач AgentDojo с доказуемой безопасностью против 84% у базовой модели без защиты.
Источник ↗ - 6Claude 3.5 Sonnet
Набирает самый высокий показатель NRP (нормированная эффективность с учётом риска) в ASB — 43,56, несмотря на уязвимости базовых атак.
Источник ↗ - 7GPT-4o
Выполняет 69,07% задач, но без строгих ограничений поддаётся почти половине (47,69%) скрытых команд в AgentDojo.
Источник ↗ - 8GPT-4o-mini
Доля успешных атак 49,92% в AgentDojo показывает, как меньшим моделям трудно фильтровать внедрённые результаты инструментов.
Источник ↗ - 9Claude 3.5 Sonnet (проверен красной командой)
Базовые атаки срабатывают лишь в 11% случаев, но скоординированные стресс-запросы пробивают её в 81%.
Источник ↗ - 10GPT-4-0125
Ранние версии 2024 года имели 56,3% успешности целевых скрытых команд до того, как современные защиты AgentDojo были стандартизованы.
Источник ↗
Что заметил Qwen
Управление действиями работает лучше сканирования промптов: блокировка результата вызова инструмента держит долю успешных атак ниже 1%, сохраняя 93,2% полезной работы.
Целевая доля успешных скрытых команд в AgentDojo упала с 56,3% у ранних моделей GPT-4 до всего 7,3% у Claude 3.7 Sonnet — быстрая эволюция безопасности.
ASB вводит показатель «нормированная эффективность с учётом риска» (NRP) и доказывает, что отказ от вредоносных запросов не обязан означать отказ от законной работы.