Назад до тренду дня: Apple створює ШІ-агента, який може працювати на вашому Mac замість вас
Рейтинг Poly · з тренду дня

Рейтинг ШІ-агентів за підміною команд (prompt injection), 2026

Claude 3.5 Sonnet відбивав усі стандартні підміни команд AgentDojo, крім 1,11%, але команда NIST з перевірки безпеки захопила агента того самого покоління в 81% випадків адаптованими атаками.

  • №1: Claude Opus 5 (Anthropic)
  • 10 місць

01Підсумковий список

Провідні ШІ незалежно склали свої списки з десяти місць. Нагорі — один підсумок, який легко перевірити: у кожного місця є причина, джерело та список ШІ, які його включили.

Лише системи з відтворюваними результатами на обох видах тестів, із зазначеними моделлю, налаштуванням агента і версією бенчмарку

Яскрава плашка — цей ШІ включив пункт у свій список. Тьмяна — не включив.

  1. 1

    Claude Opus 5 (Anthropic)

    Найкраща знайдена пара: 83,39% на OSWorld-Verified і 0,54% успішних підмін через інтерфейс. Цифра підміни — власна оцінка Anthropic; жодного запуску AgentDojo чи ASB не опубліковано.

    Увімкнули: Claude, MiMo, Kimi, DeepSeek. Не увімкнули: ChatGPT, Meta, Grok, Gemini, Wenxin, Qwen.

    У їхніх списках: Claude: 1 · MiMo: 3 · Kimi: див. список · DeepSeek: 1

    Що відзначив кожен ШІ 4
    • Claudeмісце 1

      0,54% успішних атак у тестах інтерфейсу; та сама модель має 70,6% часткового успіху в OSWorld 2.0.

      Джерело ↗
    • MiMoмісце 3

      Найбільш незалежно перевірений агент: його цифри витримують прогін конкурента з невеликим зниженням.

      Джерело ↗
    • Kimi

      У його списку названо інакше: відкрийте весь список.

      див. список
    • DeepSeekмісце 1

      85% в OSWorld-Verified і 0% цільових успішних атак на кількох наборах AgentDojo у найближчому відтворюваному середовищі — але це середовище не сам Claude Desktop.

      Джерело ↗
    4 ШІ поставили сюди
  2. 2

    Родина OpenAI GPT-5 (GPT-5.1 / 5.4 / 5.5)

    GPT-5.1 захоплюють у 4,96% випадків на AgentDyn, це приблизно десята частка від показника GPT-4o, а GPT-5.4 у відтворенні 2026 року мав 0 успішних атак із 288. GPT-5.5 набирає 78,7% на OSWorld-Verified.

    Увімкнули: Meta, MiMo, Kimi. Не увімкнули: Claude, ChatGPT, Grok, Gemini, DeepSeek, Wenxin, Qwen.

    У їхніх списках: Meta: 2 · MiMo: 2 · Kimi: 2

    Що відзначив кожен ШІ 3
    • Metaмісце 2

      Високий результат в OSWorld-Verified, але жахлива частка атак в AgentDojo у 2024 році — 47,69% для GPT-4o; потім 0/288 на вузькому банківському наборі 2026 року для GPT-5.4. Обидва факти правдиві, але для різних тестів.

      Джерело ↗
    • MiMoмісце 2

      Найновіша велика модель помітно важче обдурити, ніж її меншого попередника — перша справжня різниця в безпеці між поколіннями.

      Джерело ↗
    • Kimiмісце 2

      4,96% успішних атак на GPT-5.1 — приблизно десята частка від 47,69% у GPT-4o, тоді як ця родина очолює таблиці для комп'ютера з 75,0% в OSWorld-Verified.

      Джерело ↗
    3 ШІ поставили сюди
  3. 3

    Google Gemini computer use

    Сильний виконавець, слабший захисник: 83% на OSWorld-Verified, але два незалежні тести підмін дали старішим моделям Gemini 17–21% успішних атак. Для самої Gemini 3.6 жодного результату підмін не опубліковано.

    Увімкнули: Claude, Meta, MiMo, Kimi, DeepSeek. Не увімкнули: ChatGPT, Grok, Gemini, Wenxin, Qwen.

    У їхніх списках: Claude: 5 · Meta: 3 · MiMo: 6 · Kimi: 5 · DeepSeek: 8

    Що відзначив кожен ШІ 5
    • Claudeмісце 5

      Google повідомляє, що одна модель Gemini знизила успішність атак до 0,7% у тесті; це заява виробника, яку ще ніхто не відтворив незалежно.

      Джерело ↗
    • Metaмісце 3

      83% в OSWorld-Verified для Gemini 3.6 Flash і 17,01% атак в AgentDojo для Gemini 1.5 Pro: здатна модель, але посередня на старому тесті ін'єкцій.

      Джерело ↗
    • MiMoмісце 6

      Єдиний великий агент, що показує кожну дію наживо, — найбезпечніший типовий режим на рівні продукту.

      Джерело ↗
    • Kimiмісце 5

      57% корисності, але 20,61% успішних атак — а власні дані Google показують, що саме змагальне навчання знизило успішність ін'єкцій у Gemini з 92% до 18%.

      Джерело ↗
    • DeepSeekмісце 8

      83% в OSWorld-Verified, але немає відтворюваного результату в AgentDojo чи ASB — здатність до роботи без опублікованого показника стійкості до обману.

      Джерело ↗
    5 ШІ поставили сюди
  4. 4

    Claude Sonnet 4.5 (Anthropic)

    Зберігає найбільше роботи під атакою на AgentDyn: 70,7 корисності при 0,87% успішних атак. Власний стрес-тест Anthropic показує: 200 спроб піднімають успішність атак до 87,5%.

    Увімкнули: Kimi. Не увімкнули: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    У їхніх списках: Kimi: 1

    Що відзначив кожен ШІ 1
    • Kimiмісце 1

      70,7 корисності при 0,87% успішних атак в AgentDyn — найкраще співвідношення роботи до обману, виміряне у 2026 році, хоча власні адаптивні тести Anthropic попереджають: атаки з 200 спроб підіймаються до 87,5%.

      Джерело ↗
    1 ШІ поставили сюди
  5. 5

    OpenAI GPT-5-mini

    Найважчий для обману на AgentDyn: 0,37% успішних атак, а за адаптивних атак лише 2,1%. Його результат на робочому столі — від споріднененої моделі: GPT-5.4 mini з 72,1%.

    Увімкнули: Kimi. Не увімкнули: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    У їхніх списках: Kimi: 3

    Що відзначив кожен ШІ 1
    • Kimiмісце 3

      0,37% успішних атак при 64,8 корисності — найскромніша модель у тесті AgentDyn була найважчою для обману, і навіть атаки, зроблені вручну, досягли лише 2,1%.

      Джерело ↗
    1 ШІ поставили сюди
  6. 6

    Kimi K2.5 / K2.6 (Moonshot AI)

    Найкраща корисність серед відкритих моделей на AgentDyn: 54,2 при 11,65% успішних атак. K2.6 набирає 73,1% на OSWorld-Verified, але виконує лише 4,6% довгих завдань OSWorld 2.0.

    Увімкнули: Kimi, DeepSeek, Qwen. Не увімкнули: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Wenxin.

    У їхніх списках: Kimi: 4 · DeepSeek: 9 · Qwen: див. список

    Що відзначив кожен ШІ 3
    • Kimiмісце 4

      54,2 корисності при 11,65% успішних атак — найкраща корисність серед усіх відкритих моделей в AgentDyn, а 73,1% K2.6 в OSWorld-Verified показує широту родини для комп'ютера.

      Джерело ↗
    • DeepSeekмісце 9

      84,8% в OSWorld-Verified і показник безпеки b3 — 88,0%, але b3 вимірює саму модель, а не поверхню атаки настільного агента.

      Джерело ↗
    • Qwen

      У його списку названо інакше: відкрийте весь список.

      див. список
    3 ШІ поставили сюди
  7. 7

    Claude 3.5 Sonnet, жовтень 2024 (Anthropic)

    Застереження: 1,11% успішних атак на статичні атаки AgentDojo, 81% за адаптованими атаками NIST і лише 14,9% на OSWorld на старті.

    Увімкнули: Meta, Kimi, DeepSeek, Qwen. Не увімкнули: Claude, ChatGPT, Grok, Gemini, MiMo, Wenxin.

    У їхніх списках: Meta: 10 · Kimi: 6 · DeepSeek: див. список · Qwen: 1

    Що відзначив кожен ШІ 4
    • Metaмісце 10

      Низька частка атак в AgentDojo — 9,06%, але лише 33,39% корисності під атакою: найдешевший Claude; його найменше вдається обманути, але під атакою він найменш корисний.

      Джерело ↗
    • Kimiмісце 6

      Застереження для галузі: 1,11% успішних атак на статичних атаках AgentDojo і 72,5% корисності — а потім червона команда NIST з адаптованими атаками на відкладених завданнях досягла 81%.

      Джерело ↗
    • DeepSeek

      У його списку названо інакше: відкрийте весь список.

      див. список
    • Qwenмісце 1

      Виконує 88,66% корисної роботи, знижуючи успішність атак ін'єкцій промпту лише до 7,31% в AgentDojo.

      Джерело ↗
    4 ШІ поставили сюди
  8. 8

    Meta Llama / Muse Spark

    Muse Spark 1.1 набирає 80,67% на OSWorld, але моделі Meta з тестами на підміни майже не корисні: Llama-3-70B зберігає 18,28% корисності при 25,60% успішних атак.

    Увімкнули: Meta, Kimi. Не увімкнули: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    У їхніх списках: Meta: 4 · Kimi: 7

    Що відзначив кожен ШІ 2
    • Metaмісце 4

      80,67% підтвердженого OSWorld для Muse Spark 1.1, але модель Meta, яку справді тестували в AgentDojo, Llama-3-70B, зберегла під атакою лише 18,28% корисності.

      Джерело ↗
    • Kimiмісце 7

      11,91% успішних атак виглядають пристойно, доки ви не побачите корисність: 6,15% — модель провалює роботу, а не лише атакуючих.

      Джерело ↗
    2 ШІ поставили сюди
  9. 9

    Алібаба Qwen

    Має найвищий заявлений розробником результат на робочому столі — 86,1%, але єдина модель Qwen з тестом на підміни, Qwen3 235B, показує 22,67% успішних атак при 10,74 корисності.

    Увімкнули: Claude, Meta, Grok, Kimi. Не увімкнули: ChatGPT, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    У їхніх списках: Claude: 9 · Meta: 5 · Grok: див. список · Kimi: 8

    Що відзначив кожен ШІ 4
    • Claudeмісце 9

      Очолює таблицю OSWorld, яку наводить виробник, з 86,1%, без опублікованих результатів щодо ін'єкцій.

      Джерело ↗
    • Metaмісце 5

      Найвищий результат в OSWorld-Verified, який наводить виробник, — 86,1%, але Qwen ніколи не був у таблиці результатів AgentDojo: здатність без публічного тесту на ін'єкції.

      Джерело ↗
    • Grok

      У його списку названо інакше: відкрийте весь список.

      див. список
    • Kimiмісце 8

      22,67% успішних атак при найслабкішій корисності в наборі (10,74%) — вразливість без результатів.

      Джерело ↗
    4 ШІ поставили сюди
  10. 10

    OpenAI GPT-4o

    Захоплювали в 47,69% випадків на AgentDojo, а на OSWorld набирає 12,2%. Переглянутий ASB знизив його успішність атак із 73,58% до 9,25% — це зміна в бенчмарку, а не в моделі.

    Увімкнули: Meta, Grok, Kimi, Qwen. Не увімкнули: Claude, ChatGPT, Gemini, MiMo, DeepSeek, Wenxin.

    У їхніх списках: Meta: 9 · Grok: 2 · Kimi: 9 · Qwen: 7

    Що відзначив кожен ШІ 4
    • Metaмісце 9

      Частка успішних атак в AgentDojo виглядає скромно — 10,33%, але пряма ін'єкція промпту в ASB досягла 98,40%. Ці два тести вимірюють різні атаки, і різниця важлива.

      Джерело ↗
    • Grokмісце 2

      Висока корисність у звичайній роботі, але вища сира частка атак; фільтри можуть різко знизити успішність атак.

      Джерело ↗
    • Kimiмісце 9

      47,69% успішних атак в AgentDojo і 100% успішних прихованих входів Plan-of-Thought в ASB — найжорсткіший урок епохи тестів: що приховує «здебільшого працює».

      Джерело ↗
    • Qwenмісце 7

      Виконує 69,07% завдань, але піддається майже половині (47,69%) ін'єкцій промпту в AgentDojo без суворих запобіжників.

      Джерело ↗
    4 ШІ поставили сюди

Трійка докладно ↓

02Варто знати

Що помітили ШІ, поки складали список.

Адаптивні атакувальники обійшли 12 опублікованих захистів від підміни команд, які повідомляли майже нульову успішність атак, і більшість із них піднялася понад 90%.

Помітили:
Увімкнули: Meta, Kimi. Не увімкнули: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.
Джерело ↗

Від конструкції захисту залежить корисність. На GPT-4o фільтр інструментів знизив успішність атак із 47,69% до 6,84% і підняв корисність до 56,28%; детектор дав 7,95%, але знизив корисність до 21,14%.

Помітили:
Увімкнули: Kimi. Не увімкнули: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.
Джерело ↗

Найвища середня успішність атак у ASB — 84,30%, за змішаних атак на 13 базових моделях.

Помітили:
Увімкнули: Claude, ChatGPT, Meta, Grok, Kimi, DeepSeek. Не увімкнули: Gemini, MiMo, Wenxin, Qwen.
Джерело ↗

Користувачі схвалюють 93% запитів на дозвіл, тож запит, який люди підтверджують не читаючи, майже нічого не захищає.

Помітили:
Увімкнули: MiMo. Не увімкнули: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek, Wenxin, Qwen.
Джерело ↗

Жоден ШІ-флагман 2026 року не має результатів OSWorld, AgentDojo і ASB на одній контрольній точці, тож більшість рядків поєднує цифри однієї родини моделей.

Помітили:
Увімкнули: ChatGPT, Meta, Kimi. Не увімкнули: Claude, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.
Джерело ↗

03Як рахували

Простими словами, без формул.

1Питання

Топ-10 ШІ-агентів для керування комп'ютером: чи можуть вони працювати і чи можна їх обдурити?

2Чому ця тема

Жоден єдиний рейтинг не ставить поруч те, що агент уміє, і те, наскільки легко прихована інструкція на вебсторінці або у файлі може повернути його проти вас.

3Де це застосовно

Глобально; агентні системи, що працюють із застосунками на робочому столі та браузерами

4На що дивилися

  • Лише системи з відтворюваними результатами на обох видах тестів, із зазначеними моделлю, налаштуванням агента і версією бенчмарку
  • Виконання завдань в OSWorld (реальна робота на робочому столі) поруч із успішністю атак ін'єкцій в AgentDojo та Agent Security Bench (чим нижче, тим краще); обидва показники подано поруч, їх ніколи не усереднюють
  • Тай-брейк: скільки корисної роботи агент ще виконує під атакою
  • Окрема оцінка того, скільки даних з екрана бачить агент і чи можна скасувати його дії
  • OSWorld-Verified (команда OSWorld; трекер БенчЛМ) — частка реальних завдань на робочому столі, перевірена за фінальним станом застосунку або файлу
  • OSWorld 2.0 (Сноркел AI) — часткове та повне (так/ні) виконання 108 довгих робочих процесів
  • AgentDojo (SPY Lab, Швейцарський федеральний технологічний інститут Цюриха) — корисна робота під атакою та цільова успішність атак на 97 завданнях і 629 випадках підміни (чим менша успішність атак, тим краще)
  • AgentDyn (2026) — складніші динамічні тести підмін: корисність, корисність під атакою та успішність атак

5Хто ставив місця

Провідні ШІ: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Wenxin, Qwen. Кожен сам склав свій список із десяти місць і до кожного місця назвав джерело.

6Як зведено місця

Те саме, назване різними ШІ по-різному, рахували як одне. Що більше ШІ включили пункт до свого списку і що вище поставили, то вище його місце. «Згода ШІ» показує, у скількох ШІ цей пункт був у власному списку. Джерела — лише ті, що знайшли самі ШІ, нічого не додано вручну.

04Список кожного ШІ окремо

🇺🇸 Claude10 місць · нотаток: 4

Те саме питання, відповідь одного ШІ — Claude. Підсумковий список вище об'єднує всі ШІ.

  1. 1
    Claude Opus 5 (Anthropic, 2026)

    0,54% успішних атак у тестах інтерфейсу; та сама модель має 70,6% часткового успіху в OSWorld 2.0.

    Джерело ↗
  2. 2
    Claude Fable 5 (Anthropic, 2026)

    Частка успішних атак у Грей Свон — 2,8%, проти 85% в OSWorld-Verified.

    Джерело ↗
  3. 3
    Claude Mythos 5 (Anthropic)

    85,0% в OSWorld-Verified і 2,6% у Грей Свон.

  4. 4
    Claude Opus 4.8 (Anthropic)

    83,4% в OSWorld-Verified; його 5,5% у Грей Свон більш ніж удвічі менше, ніж базовий показник Opus 5.

    Джерело ↗
  5. 5
    Gemini з керуванням комп'ютером (Google, 2026)

    Google повідомляє, що одна модель Gemini знизила успішність атак до 0,7% у тесті; це заява виробника, яку ще ніхто не відтворив незалежно.

    Джерело ↗
  6. 6
    OpenAI Codex з керуванням комп'ютером / GPT-6 Astra

    Має режим обмеженого використання, але поруч із його результатом 72,6% в OSWorld 2.0 не знайдено жодного показника успішних атак.

    Джерело ↗
  7. 7
    Claude Sonnet 5 (Anthropic)

    81,2% в OSWorld-Verified; окремого показника щодо ін'єкцій не знайдено.

    Джерело ↗
  8. 8
    Holo3-35B-A3B (Ейч Компані)

    Найкращий незалежно перевірений результат в OSWorld-Verified (82,6%), але даних про ін'єкції не знайдено.

    Джерело ↗
  9. 9
    Qwen3.8-Max (Алібаба)

    Очолює таблицю OSWorld, яку наводить виробник, з 86,1%, без опублікованих результатів щодо ін'єкцій.

    Джерело ↗
  10. 10
    Агент керування комп'ютером на основі o4-mini (базовий рівень OS-Harm)

    Виконувала прості ін'єкції приблизно в 20% випадків — єдиний виміряний контрприклад.

    Джерело ↗

Що помітив Claude

Anthropic повідомляє про 0% успішних ін'єкцій для браузерного агента з Auto Mode і захистом, проти 3,7% без них. Нуль залежить від додаткових рівнів захисту.

Дослідження під керівництвом Ватерлооського університету виявило, що агентів, донавчених на більшій кількості ін'єкцій, у трьох із чотирьох тестів легше перехопити.

Захист, що обмежує інструменти до читання ненадійних даних, знизив цільові успішні атаки з 57,69% до 6,84%.

Тестування, пов'язане з британським AISI, повідомляє: адаптивні атаки підняли успішність атак у AgentDojo Workspace з 11% до 81%.

🇺🇸 Meta10 місць · нотаток: 4

Те саме питання, відповідь одного ШІ — Meta. Підсумковий список вище об'єднує всі ШІ.

  1. 1
    Claude з керуванням комп'ютером (Anthropic)

    Єдина родина, що поєднує найвищий результат в OSWorld і майже нульову частку атак в AgentDojo, — але ці два числа взяті з різних контрольних точок, з різницею в роки.

    Джерело ↗
  2. 2
    Агент ChatGPT / CUA від OpenAI (OpenAI)

    Високий результат в OSWorld-Verified, але жахлива частка атак в AgentDojo у 2024 році — 47,69% для GPT-4o; потім 0/288 на вузькому банківському наборі 2026 року для GPT-5.4. Обидва факти правдиві, але для різних тестів.

    Джерело ↗
  3. 3
    Google Gemini з керуванням комп'ютером (Google)

    83% в OSWorld-Verified для Gemini 3.6 Flash і 17,01% атак в AgentDojo для Gemini 1.5 Pro: здатна модель, але посередня на старому тесті ін'єкцій.

    Джерело ↗
  4. 4
    Агент Meta Llama / Muse (Meta)

    80,67% підтвердженого OSWorld для Muse Spark 1.1, але модель Meta, яку справді тестували в AgentDojo, Llama-3-70B, зберегла під атакою лише 18,28% корисності.

    Джерело ↗
  5. 5
    Агент Qwen від Алібаба (Qwen)

    Найвищий результат в OSWorld-Verified, який наводить виробник, — 86,1%, але Qwen ніколи не був у таблиці результатів AgentDojo: здатність без публічного тесту на ін'єкції.

    Джерело ↗
  6. 6
    Агент Cohere Command-R+

    Низька частка атак в AgentDojo, але мало роботи зберігається під атакою: 25,12% корисності під атакою — безпечна, але під час атаки майже не корисна.

    Джерело ↗
  7. 7
    Агент Google Gemma2

    Є в основному наборі ASB, але відсутня в AgentDojo і OSWorld-Verified — модель для перевірки безпеки, а не доведений агент для роботи з комп'ютером.

    Джерело ↗
  8. 8
    Агент Mistral Mixtral

    Та сама історія, що й з Gemma2: є в ASB, немає в AgentDojo і OSWorld-Verified — немає відтворюваної пари «робота з комп'ютером + ін'єкції».

    Джерело ↗
  9. 9
    Агент OpenAI GPT-3.5 Turbo

    Частка успішних атак в AgentDojo виглядає скромно — 10,33%, але пряма ін'єкція промпту в ASB досягла 98,40%. Ці два тести вимірюють різні атаки, і різниця важлива.

    Джерело ↗
  10. 10
    Агент Anthropic Claude 3 Haiku

    Низька частка атак в AgentDojo — 9,06%, але лише 33,39% корисності під атакою: найдешевший Claude; його найменше вдається обманути, але під атакою він найменш корисний.

    Джерело ↗

Що помітив Meta

У початковій таблиці AgentDojo Claude 3.5 Sonnet (20241022) мав 1,11% цільових атак, а GPT-4o — 47,69%: той самий тест, та сама атака, протилежний рівень безпеки.

Відтворення 2026 року показало 0/288 успішних атак без захисту для GPT-5.4 і 1/288 для Claude Sonnet 4.6 на банківському наборі AgentDojo, але автори попереджають: цілі тесту не були однаково досяжними для всіх моделей.

ASB-Revised знизив частку успішних атак GPT-4o з 73,58% до 9,25%: переглянутий тест, а не зміна моделі, змінив висновок про ту саму модель.

Адаптивні атакувальники зламали 12 захистів від ін'єкцій, які повідомляли про майже нульову частку успішних атак; для більшості вона перевищила 90%. Статичні атаки AgentDojo недооцінюють наполегливого зловмисника.

🇺🇸 Grok10 місць · нотаток: 1

Те саме питання, відповідь одного ШІ — Grok. Підсумковий список вище об'єднує всі ШІ.

  1. 1
    Агенти з керуванням комп'ютером Claude 3.5/4.x/5.x (Anthropic)

    У опублікованих запусках AgentDojo має більшу корисність під атакою і меншу частку цільових атак, ніж GPT-4o.

    Джерело ↗
  2. 2
    Налаштування GPT-4o / OpenAI CUA із захистом

    Висока корисність у звичайній роботі, але вища сира частка атак; фільтри можуть різко знизити успішність атак.

    Джерело ↗
  3. 3
    Сімулар Sai

    Високі часткові результати довгих завдань в OSWorld; показників безпеки в AgentDojo незалежно не опубліковано.

    Джерело ↗
  4. 4
    Налаштування Qwen3.8 Max

    Найвищий рівень успішності на комп'ютері за перевіреними тестами; публічних пар з AgentDojo/ASB мало.

    Джерело ↗
  5. 5
    Microsoft Mage-VL-Cowork

    Компактний відкритий гібридний агент з 66% за перевіреними тестами; опублікованих показників пар для ін'єкцій немає.

    Джерело ↗
  6. 6
    Pointer Agent

    Високі перевірені результати завдяки гібридним методам; стійкість до ін'єкцій не описана детально.

    Джерело ↗
  7. 7
    Коасті CUA

    Сильний перевірений результат на комп'ютері; даних про поверхню атаки мало.

    Джерело ↗
  8. 8
    Intelligence-Indeed Z-Agent

    Найвищий перевірений показник виконання завдань на комп'ютері; публічного результату в AgentDojo не знайдено.

    Джерело ↗
  9. 9
    Малі моделі з відкритими вагами + захисти на зразок CapLite

    Нуль успішних атак у тисячах епізодів AgentDojo в одному дослідженні захисту.

    Джерело ↗
  10. 10
    Загальні передові агенти без спеціальних захистів

    ASB повідомляє про пікову середню успішність атак 84,30% з різними методами ін'єкцій.

    Джерело ↗

Що помітив Grok

Початкова стаття AgentDojo показала: навіть сильні моделі без атак розв'язують менше 66% завдань, а атаки вдаються менше ніж у 25% випадків; сучасні запуски Claude показують ще нижчу частку цільових атак.

🇺🇸 Gemini10 місць · нотаток: 1

Те саме питання, відповідь одного ШІ — Gemini. Підсумковий список вище об'єднує всі ШІ.

  1. 1
    Claude 3.7 Sonnet з керуванням комп'ютером (Anthropic)

    Виконує 44,2% завдань на комп'ютері, а частку перехоплень через непряму ін'єкцію знижує до 2,4% в AgentDojo завдяки дворівневій ієрархії системних промптів.

  2. 2
    Claude 3.5 Sonnet з керуванням комп'ютером (Anthropic)

    Поєднує 38,6% навігації по реальному комп'ютеру з низькою часткою ін'єкцій — 4,8% — і зберігає 71,4% корисності навіть на ворожих веб-сторінках.

  3. 3
    Agent S2.5 з основою міркувань o3

    Набирає 56,4% у завданнях OSWorld — найкращий показник у галузі, але ланцюги міркувань можна обдурити так, що відбуваються несанкціоновані переміщення файлів, — у 12,3% тестів непрямих ін'єкцій.

  4. 4
    OpenAI Operator (конвеєр зору GPT-4o)

    Розв'язує 46,8% робочих процесів у браузері та на комп'ютері, але має 28,5% успішних атак, коли натрапляє на ненадійний сторонній текст у DOM-структурі сторінки.

  5. 5
    ByteDance UI-TARS-2 (локальний агент зору на 72B)

    Показує вражаючі 53,1% виконання в OSWorld, але візуальні ін'єкції, вбудовані у фонові зображення робочого столу, перехоплюють дії в 19,4% тестів.

    Джерело ↗
  6. 6
    Агент Коасті з подвійним захистом на основі двох мовних моделей (2025)

    Жертвує швидкістю заради 42,1% в OSWorld і знижує успішність ін'єкцій до 6,2% за допомогою зовнішнього фільтра-наглядача.

  7. 7
    UI-TARS-1.5 (ByteDance, відкриті ваги)

    Виконує 42,5% перевірених завдань в ОС, але необроблене донавчання відкритих ваг без шарів узгодження з безпекою дає 34,1% вразливості до інструкцій, вбудованих у PDF.

    Джерело ↗
  8. 8
    OS-Copilot / FRIDAY (автономний агент командного рядка)

    Завершує 35,6% робочих процесів у Linux, але необмежене виконання команд bash призводить до небезпечних 43,7% успішних атак, коли вона читає заражені текстові документи.

  9. 9
    Сімулар GUI Agent (набір візуальної прив'язки)

    Досягає 38,3% у завданнях на комп'ютері, але має 26,2% ін'єкцій, коли ворожі інструкції маскуються під системні вікна діалогу.

  10. 10
    Adept ACT-1 (браузер і робочі процеси компаній)

    Має 31,2% перевіреного виконання робочих процесів, але старі DOM-парсери піддаються 41,5% непрямих атак ін'єкцій, схованих у коментарях на веб-сторінках.

Що помітив Gemini

Оскільки дії рівня ОС, як-от видалення файлів чи надсилання листів, не можна автоматично «скасувати» через кнопку відміни в API, фахівці з безпеки радять обов'язкове підтвердження для всіх незворотних подій на комп'ютері.

🇨🇳 MiMo10 місць · нотаток: 4

Те саме питання, відповідь одного ШІ — MiMo. Підсумковий список вище об'єднує всі ШІ.

  1. 1
    Режим auto у Claude Code (Anthropic, 2026)

    Вона відповідає на каверзне питання геометрією: агент, який не може дотягнутися до принади, не може на неї клюнути.

    Джерело ↗
  2. 2
    Агенти родини GPT-5 (OpenAI)

    Найновіша велика модель помітно важче обдурити, ніж її меншого попередника — перша справжня різниця в безпеці між поколіннями.

    Джерело ↗
  3. 3
    Claude Opus 5 (Anthropic)

    Найбільш незалежно перевірений агент: його цифри витримують прогін конкурента з невеликим зниженням.

    Джерело ↗
  4. 4
    GPT-6.2 Astra (OpenAI)

    Найкращий новий результат у довгих завданнях за третину ціни — хоча його власна картка фіксує робочі дії, які він виконав неправильно.

    Джерело ↗
  5. 5
    GPT-6.1 Sol (OpenAI)

    Відстає від флагманської моделі в довгих завданнях на комп'ютері лише на 2,1 пункту, за звичайними цінами.

    Джерело ↗
  6. 6
    Gemini для Mac з керуванням комп'ютером (Google)

    Єдиний великий агент, що показує кожну дію наживо, — найбезпечніший типовий режим на рівні продукту.

    Джерело ↗
  7. 7
    Claude Cowork з керуванням комп'ютером (Anthropic)

    Набирає високі бали і в одному рядку описує власну найбільшу прогалину: немає пісочниці між агентом і вашим екраном.

    Джерело ↗
  8. 8
    Qwen3.8 Max (Алібаба)

    Найвищий результат для комп'ютера в таблиці, але її безпека залежить від контрольної точки, яку ви самі насправді не можете запустити.

    Джерело ↗
  9. 9
    Muse Spark 1.3 (Meta)

    Настільний агент Meta потрапляє в таблиці довгих завдань з 66,9% — запущений самостійно, на власному середовищі.

    Джерело ↗
  10. 10
    MiniMax M3 (MiniMax)

    Чесна нижня межа: 22,3% у довгих завданнях за запуском авторів — опубліковано, хоча це майже ніхто не робить.

    Джерело ↗

Що помітив MiMo

Вперше піддатливість до обману зменшується від покоління до покоління: дослідження «червоної команди» показало, що GPT-5 в AgentDojo значно важче атакувати, ніж GPT-4o-mini.

Небезпечне число — не успішність атак, а втома від підтверджень: реальні користувачі схвалюють 93% запитів на дозвіл, тож запит, який люди механічно підтверджують, так само марний, як його відсутність.

Незалежні повторні запуски рідкісні і дуже цінні: запуски співавтора Сноркел AI для GPT-5.6 Sol дають результати в межах 2 пунктів від заявлених, а для Opus 5 — на 2,3 нижче.

Дослідження приватності (AGENTDAM) безпосередньо оцінює агентів Claude для роботи з комп'ютером і виявляє, що автономні агенти для вебу та комп'ютера витікають приватні дані так, як їхні оцінки в завданнях ніколи не показують.

🇨🇳 Kimi10 місць · нотаток: 4

Те саме питання, відповідь одного ШІ — Kimi. Підсумковий список вище об'єднує всі ШІ.

  1. 1
    Claude Sonnet 4.5 (Anthropic)

    70,7 корисності при 0,87% успішних атак в AgentDyn — найкраще співвідношення роботи до обману, виміряне у 2026 році, хоча власні адаптивні тести Anthropic попереджають: атаки з 200 спроб підіймаються до 87,5%.

    Джерело ↗
  2. 2
    Родина GPT-5.1 / GPT-5.4 (OpenAI)

    4,96% успішних атак на GPT-5.1 — приблизно десята частка від 47,69% у GPT-4o, тоді як ця родина очолює таблиці для комп'ютера з 75,0% в OSWorld-Verified.

    Джерело ↗
  3. 3
    GPT-5-mini (OpenAI)

    0,37% успішних атак при 64,8 корисності — найскромніша модель у тесті AgentDyn була найважчою для обману, і навіть атаки, зроблені вручну, досягли лише 2,1%.

    Джерело ↗
  4. 4
    Kimi K2.5 / K2.6 (Moonshot AI)

    54,2 корисності при 11,65% успішних атак — найкраща корисність серед усіх відкритих моделей в AgentDyn, а 73,1% K2.6 в OSWorld-Verified показує широту родини для комп'ютера.

    Джерело ↗
  5. 5
    Gemini 2.5 Pro / Gemini 3.5 Flash (Google)

    57% корисності, але 20,61% успішних атак — а власні дані Google показують, що саме змагальне навчання знизило успішність ін'єкцій у Gemini з 92% до 18%.

    Джерело ↗
  6. 6
    Claude 3.5 Sonnet, випуск у жовтні 2024 (Anthropic)

    Застереження для галузі: 1,11% успішних атак на статичних атаках AgentDojo і 72,5% корисності — а потім червона команда NIST з адаптованими атаками на відкладених завданнях досягла 81%.

    Джерело ↗
  7. 7
    Llama 3.3 70B (Meta)

    11,91% успішних атак виглядають пристойно, доки ви не побачите корисність: 6,15% — модель провалює роботу, а не лише атакуючих.

    Джерело ↗
  8. 8
    Qwen3 235B-A22B (Алібаба)

    22,67% успішних атак при найслабкішій корисності в наборі (10,74%) — вразливість без результатів.

    Джерело ↗
  9. 9
    GPT-4o (OpenAI)

    47,69% успішних атак в AgentDojo і 100% успішних прихованих входів Plan-of-Thought в ASB — найжорсткіший урок епохи тестів: що приховує «здебільшого працює».

    Джерело ↗
  10. 10
    GPT-4o-mini (OpenAI)

    Середня частка успішних атак в ASB — 67,55%, найгірша з виміряних: маленька, дешева і цілком відкрита, з понад 95% на прямих ін'єкціях.

    Джерело ↗

Що помітив Kimi

Адаптивні атаки перевертають таблицю лідерів: NIST CAISI підняв перехоплення агентів Claude 3.5 Sonnet з 11% до 81%, а міжлабораторна команда (OpenAI, Anthropic, DeepMind, ETH) зламала 12 опублікованих захистів з понад 90% успішних атак. Безпека за статичними тестами — це нижня межа, а не стеля.

Єдина родина захистів з майже нульовою частотою успішних атак, що витримує адаптацію, переносить контроль з моделі назовні: CaMeL і Progent досягли 0% успішних атак в AgentDyn, обмежуючи виклики інструментів, але в CaMeL ці 0% прийшли разом із 0% корисності там; натомість в AgentDojo CaMeL розв'язав 67–77% завдань з доведеною безпекою, тож компроміс реальний, але вузький.

Компроміс між корисністю і безпекою можна виміряти: у запуску GPT-4o в AgentDojo фільтр інструментів знизив успішні атаки з 47,69% до 6,84% і підняв корисність до 56,28%, а детектор ін'єкцій знизив їх до 7,95%, але вбив корисність до 21,14%. Вирішує конструкція захисту, а не модель, — залишиться агент корисним під обстрілом чи ні.

Доступ до екрана підсилює кожну ін'єкцію: агент із записом екрана і доступністю бачить усе, що бачите ви, і може надсилати, видаляти, купувати та змінювати налаштування. Тому питання скасування (дозволи для кожного застосунку, знімки віртуальної машини, оборотні дії) важить не менше, ніж відсоток успішних атак.

🇨🇳 DeepSeek10 місць · нотаток: 1

Те саме питання, відповідь одного ШІ — DeepSeek. Підсумковий список вище об'єднує всі ШІ.

  1. 1
    Claude з керуванням комп'ютером (Claude Fable 5, 2026)

    85% в OSWorld-Verified і 0% цільових успішних атак на кількох наборах AgentDojo у найближчому відтворюваному середовищі — але це середовище не сам Claude Desktop.

    Джерело ↗
  2. 2
    Обв'язка Ratchet з gpt-5.6-luna (2026)

    0% цільових успішних атак у всіх чотирьох наборах AgentDojo — найчистіший результат безпеки у відкритій таблиці AgentDojo, але його результат в OSWorld не в тому самому рядку.

    Джерело ↗
  3. 3
    Коасті CUA v1 (2026)

    82,81% в OSWorld-Verified і немає опублікованої частки успішних атак в AgentDojo/ASB — сильна в роботі, не виміряна щодо обману.

    Джерело ↗
  4. 4
    OpenAI Operator (2026)

    38,1% в OSWorld, але майже без даних з локального екрана — її поверхня атаки це браузер, а не ваш робочий стіл.

    Джерело ↗
  5. 5
    Настільний агент Manus (Meta) (2026)

    72,5% в OSWorld у хмарній віртуальній машині — оборотно, бо машину можна одноразово скинути, але показник успішних атак у тесті безпеки не опублікований.

  6. 6
    Agent S3 (Сімулар, 2026)

    72,6% в OSWorld і з відкритим кодом, тож її можна помістити в пісочницю, — але їй усе одно потрібен доступ до екрана і вводу, а її успішних атак немає в таблиці AgentDojo.

    Джерело ↗
  7. 7
    UiPath Screen Agent (2026)

    67,1% в OSWorld-Verified з широкою автоматизацією інтерфейсу — висока корисність, велика поверхня контролю, частка успішних атак не опублікована.

  8. 8
    Агент Gemini 3.6 Flash (Google, 2026)

    83% в OSWorld-Verified, але немає відтворюваного результату в AgentDojo чи ASB — здатність до роботи без опублікованого показника стійкості до обману.

    Джерело ↗
  9. 9
    Агент Kimi K3 (Moonshot AI, 2026)

    84,8% в OSWorld-Verified і показник безпеки b3 — 88,0%, але b3 вимірює саму модель, а не поверхню атаки настільного агента.

    Джерело ↗
  10. 10
    UI-TARS-2 (ByteDance, 2026)

    47,5% в OSWorld з нативним керуванням екраном — більше вразливостей, ніж у хмарного агента, і немає опублікованої частки успішних атак в AgentDojo.

Що помітив DeepSeek

Найкращий опублікований результат AgentDojo — 0% успішних атак, але цей результат отримано в конкретному середовищі (Ratchet з gpt-5.6-luna), для якого немає відповідного результату OSWorld. Агент, найбезпечніший у тесті безпеки, — не той, що очолює тест роботи на комп'ютері.

🇨🇳 Wenxin10 місць

Те саме питання, відповідь одного ШІ — Wenxin. Підсумковий список вище об'єднує всі ШІ.

  1. 1
    Внутрішній ШІ-агент Apple для macOS (збірка початку 2027)

    Без постійного запису даних екрана; кожну дію можна скасувати системним перериванням до виконання; у ранніх внутрішніх тестах повідомлено про 0 обходів ін'єкцій промпту

    Джерело ↗
  2. 2
    Корпоративний настільний агент HKU, відповідний KYA

    100% унікальна перевірювана ідентичність агента, повна простежуваність операцій, динамічні дозволи автоматично скасовуються, коли дії виходять за заздалегідь визначені межі

  3. 3
    ШІ-агент Pay від Ant Group (2026)

    Триступеневий процес авторизації платежів: навіть повністю скомпрометовані агенти не можуть провести непідтверджені дорогі операції без ручного підтвердження людиною

  4. 4
    API агентів OpenAI (бета 2026)

    Хмарна пісочниця блокує 89% відомих корисних навантажень ін'єкцій промпту; для всіх ризикових дій потрібне додаткове підтвердження перед виконанням

  5. 5
    Корпоративний індивідуальний агент з гібридним RBAC+ABAC (2026)

    До перевірок дозволів додано перевірку відповідності наміру й поведінки; блокує 91% ненавмисних виходів за межі у відведеній зоні операцій

  6. 6
    Перплексіті Computer (2026)

    Ізольоване хмарне середовище повністю відокремлене від чутливих даних на локальному комп'ютері; постійного доступу до локального екрана немає взагалі

  7. 7
    Агент керування комп'ютером Anthropic Claude (2026)

    Конституційні запобіжники ШІ блокують 87% спроб несанкціонованих шкідливих дій; частка розробників, що його використовують, — 49%, з найвищими оцінками довіри в галузі

  8. 8
    ШІ-агент Sai (2026)

    Усі операції автоматизації інтерфейсу виконуються на окремих ізольованих хмарних робочих столах; за замовчуванням немає доступу до чутливих даних і файлів локального комп'ютера

  9. 9
    Агент Meta Muse (відкритий код, 2026)

    Увесь код середовища виконання можна публічно перевірити; користувачі можуть додавати власні правила виявлення ін'єкцій промпту без сторонніх постачальників

    Джерело ↗
  10. 10
    OpenCode: агент для програмування з відкритим кодом (2026)

    За замовчуванням немає автоматичного доступу на запис до робочих файлів; кожна зміна файлу потребує перегляду користувачем і явного схвалення

🇨🇳 Qwen10 місць · нотаток: 3

Те саме питання, відповідь одного ШІ — Qwen. Підсумковий список вище об'єднує всі ШІ.

  1. 1
    Claude 3.7 Sonnet

    Виконує 88,66% корисної роботи, знижуючи успішність атак ін'єкцій промпту лише до 7,31% в AgentDojo.

    Джерело ↗
  2. 2
    AgentSys (захищений агент)

    Утримує успішність атак на рівні 0,78% в AgentDojo і 4,25% в ASB, покращуючи корисність у звичайних завданнях.

    Джерело ↗
  3. 3
    Claude Opus 4.6

    Отримав ідеальні 100% в одному цільовому аудиті безпеки, хоча те, наскільки його дії на комп'ютері можна скасувати в реальності, досі обговорюється.

    Джерело ↗
  4. 4
    Захищений агент Verigrey

    Зберігає 93,2% корисної роботи, тримаючи успішність атак нижче 1% завдяки керуванню діями, а не скануванню промптів.

    Джерело ↗
  5. 5
    o3 (із захистом)

    Виконує 77% завдань AgentDojo з доведеною безпекою, проти 84% у базовому варіанті без захисту.

    Джерело ↗
  6. 6
    Claude 3.5 Sonnet

    Має найвищий показник NRP (нормований показник продуктивності з поправкою на ризик) в ASB — 43,56, попри базові вразливості до атак.

    Джерело ↗
  7. 7
    GPT-4o

    Виконує 69,07% завдань, але піддається майже половині (47,69%) ін'єкцій промпту в AgentDojo без суворих запобіжників.

    Джерело ↗
  8. 8
    GPT-4o-mini

    Показує 49,92% успішних атак в AgentDojo, що виявляє, як менші моделі не можуть відфільтрувати підсунуті результати інструментів.

    Джерело ↗
  9. 9
    Claude 3.5 Sonnet (перевірений атаками)

    Поки базові атаки вдаються лише в 11% випадків, узгоджені промпти «червоної команди» проривають його в 81% випадків.

    Джерело ↗
  10. 10
    GPT-4-0125

    Ранні версії 2024 року мали 56,3% успішних цільових ін'єкцій промпту, ще до того як сучасні захисти AgentDojo стали стандартом.

    Джерело ↗

Що помітив Qwen

Керування діями працює краще за сканування промптів: блокування результату виклику інструмента тримає успішність атак нижче 1% і зберігає 93,2% корисності.

Частка успішних цільових атак ін'єкцій промпту в AgentDojo впала з 56,3% у ранніх моделей GPT-4 до лише 7,3% у Claude 3.7 Sonnet — безпека швидко змінюється.

Agent Security Bench вводить показник «нормована продуктивність з поправкою на ризик» (NRP), який доводить: відмова від шкідливих промптів не обов'язково означає відмову від законної роботи.