Retour à la tendance du jour: Apple développe une IA capable d'utiliser votre Mac à votre place
Classement Poly · tiré de la tendance du jour

Classement des injections de prompt contre les agents IA en 2026

Claude 3.5 Sonnet a résisté à toutes les injections de prompt standard d'AgentDojo, sauf 1,11% ; pourtant, l'équipe rouge du NIST a détourné la même génération d'agent dans 81% des cas avec des attaques adaptées.

  • N° 1 : Claude Opus 5 (Anthropic)
  • 10 places

01Liste finale

Les IA de pointe ont chacune dressé leur propre liste de dix, de façon indépendante. Voici un résultat facile à vérifier : chaque place a une raison, une source et la liste des IA qui l'ont retenue.

Seuls les systèmes aux résultats reproductibles sur les deux types de test, avec le modèle, la configuration de l'agent et la version du benchmark indiqués

Une pastille vive signifie que cette IA a mis l'élément dans sa liste. Une pastille terne, qu'elle ne l'a pas fait.

  1. 1

    Claude Opus 5 (Anthropic)

    Meilleur couple trouvé : 83,39% sur OSWorld-Verified et 0,54% de réussite des injections dans l'interface graphique (GUI). Le chiffre des injections est celui d'Anthropic ; aucun résultat AgentDojo ou ASB n'est publié.

    L’ont inclus: Claude, MiMo, Kimi, DeepSeek. Ne l’ont pas inclus: ChatGPT, Meta, Grok, Gemini, Wenxin, Qwen.

    Dans leurs listes: Claude: 1 · MiMo: 3 · Kimi: voir la liste · DeepSeek: 1

    Ce qu'a noté chaque IA 4
    • Claudeplace 1

      0,54 % de réussite des attaques dans les tests d’interface graphique, avec 70,6 % de réussite partielle à OSWorld 2.0 pour le même modèle.

      Source ↗
    • MiMoplace 3

      L’agent le plus recoupé par des sources indépendantes : ses chiffres résistent à un test concurrent avec une faible baisse.

      Source ↗
    • Kimi

      Nommé autrement dans sa propre liste : ouvrez la liste complète.

      voir la liste
    • DeepSeekplace 1

      85 % à OSWorld-Verified et 0 % de réussite ciblée des attaques sur plusieurs suites AgentDojo, dans le cadre reproductible le plus proche, mais ce cadre n’est pas Claude Desktop lui-même.

      Source ↗
    4 IA l’ont placé ici
  2. 2

    Famille GPT-5 d'OpenAI (GPT-5.1 / 5.4 / 5.5)

    GPT-5.1 est détourné dans 4,96% des cas sur AgentDyn, soit environ un dixième du taux de GPT-4o, et GPT-5.4 a réalisé 0 sur 288 lors d'une réplication en 2026. GPT-5.5 obtient 78,7% sur OSWorld-Verified.

    L’ont inclus: Meta, MiMo, Kimi. Ne l’ont pas inclus: Claude, ChatGPT, Grok, Gemini, DeepSeek, Wenxin, Qwen.

    Dans leurs listes: Meta: 2 · MiMo: 2 · Kimi: 2

    Ce qu'a noté chaque IA 3
    • Metaplace 2

      Score élevé à OSWorld-Verified, mais taux d’attaque catastrophique de 47,69 % sur AgentDojo pour GPT-4o en 2024, puis 0/288 sur un sous-ensemble bancaire étroit de 2026 pour GPT-5.4. Les deux sont vrais, pour des tests différents.

      Source ↗
    • MiMoplace 2

      Le plus récent grand modèle est nettement plus difficile à tromper que son petit prédécesseur : le premier vrai écart de sécurité d’une génération à l’autre.

      Source ↗
    • Kimiplace 2

      Un taux de réussite des attaques de 4,96 % sur GPT-5.1, soit environ un dixième des 47,69 % de GPT-4o, alors que la famille domine les classements du bureau avec 75,0 % à OSWorld-Verified.

      Source ↗
    3 IA l’ont placé ici
  3. 3

    Utilisation de l'ordinateur par Google Gemini

    Bon exécutant, garde plus faible : 83% sur OSWorld-Verified, mais deux tests d'injection indépendants placent les anciens modèles Gemini à 17–21% de réussite des attaques. Aucun résultat d'injection n'est publié pour Gemini 3.6 lui-même.

    L’ont inclus: Claude, Meta, MiMo, Kimi, DeepSeek. Ne l’ont pas inclus: ChatGPT, Grok, Gemini, Wenxin, Qwen.

    Dans leurs listes: Claude: 5 · Meta: 3 · MiMo: 6 · Kimi: 5 · DeepSeek: 8

    Ce qu'a noté chaque IA 5
    • Claudeplace 5

      Google indique qu’un modèle Gemini réduit le taux de réussite des attaques à 0,7 % sur un test. C’est une affirmation du fabricant, pas encore reproduite de façon indépendante.

      Source ↗
    • Metaplace 3

      83 % à OSWorld-Verified pour Gemini 3.6 Flash, à côté d’un taux d’attaque de 17,01 % sur AgentDojo pour Gemini 1.5 Pro : capable, mais moyen au vieux test d’injection.

      Source ↗
    • MiMoplace 6

      Le seul grand agent qui montre chaque action en direct avant de l’exécuter : la posture par défaut la plus sûre de la couche produit.

      Source ↗
    • Kimiplace 5

      57 % d’utilité, mais un taux de réussite des attaques de 20,61 %. Les données de Google montrent que c’est l’entraînement adversarial qui a fait passer Gemini de 92 % à 18 % de réussite des injections.

      Source ↗
    • DeepSeekplace 8

      83 % à OSWorld-Verified, mais aucun résultat reproductible sur AgentDojo ou ASB : une capacité de travail sans chiffre publié de résistance aux pièges.

      Source ↗
    5 IA l’ont placé ici
  4. 4

    Claude Sonnet 4.5 (Anthropic)

    Garde le plus de travail sous attaque sur AgentDyn : utilité de 70,7 avec 0,87% de réussite des attaques. Le test de résistance d'Anthropic montre que 200 tentatives portent la réussite des attaques à 87,5%.

    L’ont inclus: Kimi. Ne l’ont pas inclus: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    Dans leurs listes: Kimi: 1

    Ce qu'a noté chaque IA 1
    • Kimiplace 1

      70,7 d’utilité avec un taux de réussite des attaques de 0,87 % sur AgentDyn, le meilleur rapport travail-sur-piège mesuré en 2026. Les tests adaptatifs d’Anthropic avertissent toutefois que des attaques de 200 tentatives grimpent à 87,5 %.

      Source ↗
    1 IA l’ont placé ici
  5. 5

    GPT-5-mini d'OpenAI

    Le modèle le plus difficile à piéger sur AgentDyn : 0,37% de réussite des attaques, et seulement 2,1% sous attaques adaptatives. Son score sur bureau est celui d'un modèle frère : GPT-5.4 mini, à 72,1%.

    L’ont inclus: Kimi. Ne l’ont pas inclus: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    Dans leurs listes: Kimi: 3

    Ce qu'a noté chaque IA 1
    • Kimiplace 3

      0,37 % de réussite des attaques avec 64,8 d’utilité : le modèle le plus modeste du test AgentDyn était le plus difficile à piéger, et même les attaques adaptatives faites à la main n’ont atteint que 2,1 %.

      Source ↗
    1 IA l’ont placé ici
  6. 6

    Kimi K2.5 / K2.6 (Moonshot AI)

    Meilleure utilité de tous les modèles ouverts sur AgentDyn : 54,2 avec 11,65% de réussite des attaques. K2.6 obtient 73,1% sur OSWorld-Verified, mais ne termine que 4,6% des longues tâches d'OSWorld 2.0.

    L’ont inclus: Kimi, DeepSeek, Qwen. Ne l’ont pas inclus: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Wenxin.

    Dans leurs listes: Kimi: 4 · DeepSeek: 9 · Qwen: voir la liste

    Ce qu'a noté chaque IA 3
    • Kimiplace 4

      54,2 d’utilité pour 11,65 % de réussite des attaques, la meilleure utilité de tous les modèles ouverts sur AgentDyn. Avec 73,1 % à OSWorld-Verified pour K2.6, la famille prouve sa polyvalence sur le bureau.

      Source ↗
    • DeepSeekplace 9

      84,8 % à OSWorld-Verified et un score de sécurité b3 de 88,0 %, mais b3 mesure le modèle, pas la surface d’attaque de l’agent de bureau.

      Source ↗
    • Qwen

      Nommé autrement dans sa propre liste : ouvrez la liste complète.

      voir la liste
    3 IA l’ont placé ici
  7. 7

    Claude 3.5 Sonnet, oct. 2024 (Anthropic)

    L'histoire qui sert d'avertissement : 1,11% de réussite des attaques sur les attaques statiques d'AgentDojo, 81% sous les attaques adaptées du NIST, et seulement 14,9% sur OSWorld au lancement.

    L’ont inclus: Meta, Kimi, DeepSeek, Qwen. Ne l’ont pas inclus: Claude, ChatGPT, Grok, Gemini, MiMo, Wenxin.

    Dans leurs listes: Meta: 10 · Kimi: 6 · DeepSeek: voir la liste · Qwen: 1

    Ce qu'a noté chaque IA 4
    • Metaplace 10

      Faible taux d’attaque sur AgentDojo, à 9,06 %, mais seulement 33,39 % d’utilité sous attaque : le Claude le moins facile à tromper, et le moins utile quand il est attaqué.

      Source ↗
    • Kimiplace 6

      L’avertissement du secteur : 1,11 % de réussite des attaques statiques sur AgentDojo et 72,5 % d’utilité. Puis l’équipe rouge du NIST a atteint 81 % avec des attaques adaptées sur des tâches inédites.

      Source ↗
    • DeepSeek

      Nommé autrement dans sa propre liste : ouvrez la liste complète.

      voir la liste
    • Qwenplace 1

      Accomplit 88,66 % du travail utile tout en ramenant le taux de réussite des attaques par injection à seulement 7,31 % sur AgentDojo.

      Source ↗
    4 IA l’ont placé ici
  8. 8

    Meta Llama / Muse Spark

    Muse Spark 1.1 obtient 80,67% sur OSWorld, mais les modèles Meta soumis aux tests d'injection font peu de travail utile : Llama-3-70B garde 18,28% d'utilité avec 25,60% de réussite des attaques.

    L’ont inclus: Meta, Kimi. Ne l’ont pas inclus: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    Dans leurs listes: Meta: 4 · Kimi: 7

    Ce qu'a noté chaque IA 2
    • Metaplace 4

      80,67 % de réussite vérifiée à OSWorld pour Muse Spark 1.1, mais le modèle Meta réellement testé sur AgentDojo, Llama-3-70B, n’a conservé que 18,28 % d’utilité sous attaque.

      Source ↗
    • Kimiplace 7

      11,91 % de réussite des attaques semble honorable, jusqu’à ce qu’on voie l’utilité : 6,15 %. Il échoue dans le travail, pas seulement face aux attaquants.

      Source ↗
    2 IA l’ont placé ici
  9. 9

    Alibaba Qwen

    A le meilleur score sur bureau publié par le fournisseur, 86,1%, mais le seul modèle Qwen soumis à un test d'injection, Qwen3 235B, affiche 22,67% de réussite des attaques avec une utilité de 10,74.

    L’ont inclus: Claude, Meta, Grok, Kimi. Ne l’ont pas inclus: ChatGPT, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    Dans leurs listes: Claude: 9 · Meta: 5 · Grok: voir la liste · Kimi: 8

    Ce qu'a noté chaque IA 4
    • Claudeplace 9

      En tête du tableau OSWorld publié par le fabricant avec 86,1 %, sans résultat publié sur les injections.

      Source ↗
    • Metaplace 5

      Meilleur score OSWorld-Verified publié par le fabricant, à 86,1 %, mais Qwen n’apparaît pas dans le tableau de résultats AgentDojo : des capacités sans test public d’injection.

      Source ↗
    • Grok

      Nommé autrement dans sa propre liste : ouvrez la liste complète.

      voir la liste
    • Kimiplace 8

      22,67 % de réussite des attaques, avec l’utilité la plus faible de l’ensemble (10,74 %) : une exposition sans les résultats.

      Source ↗
    4 IA l’ont placé ici
  10. 10

    GPT-4o d'OpenAI

    Détourné dans 47,69% des cas sur AgentDojo, et score de 12,2% sur OSWorld. Une version révisée d'ASB a fait passer sa réussite des attaques de 73,58% à 9,25% : un changement du benchmark, pas du modèle.

    L’ont inclus: Meta, Grok, Kimi, Qwen. Ne l’ont pas inclus: Claude, ChatGPT, Gemini, MiMo, DeepSeek, Wenxin.

    Dans leurs listes: Meta: 9 · Grok: 2 · Kimi: 9 · Qwen: 7

    Ce qu'a noté chaque IA 4
    • Metaplace 9

      Le taux d’attaque sur AgentDojo semble modeste, à 10,33 %, mais l’injection directe d’ASB atteint 98,40 %. Les deux tests mesurent des attaques différentes, et l’écart compte.

      Source ↗
    • Grokplace 2

      Bonne utilité sur les tâches normales, mais taux d’attaque brut plus élevé ; les filtres peuvent réduire fortement la réussite des attaques.

      Source ↗
    • Kimiplace 9

      47,69 % de réussite des attaques sur AgentDojo et un taux de 100 % de porte dérobée Plan-of-Thought dans ASB : la leçon la plus dure de l’ère des tests sur ce que « ça marche presque toujours » peut masquer.

      Source ↗
    • Qwenplace 7

      Accomplit 69,07 % des tâches, mais cède à près de la moitié (47,69 %) des injections de prompt sur AgentDojo sans garde-fous stricts.

      Source ↗
    4 IA l’ont placé ici

Plus sur le trio de tête ↓

02Bon à savoir

Ce que les IA ont remarqué en établissant la liste.

Des attaquants adaptatifs ont brisé 12 défenses publiées contre les injections de prompt, qui affichaient une réussite des attaques proche de zéro, en poussant la plupart d'entre elles au-delà de 90%.

Remarqué par:
L’ont inclus: Meta, Kimi. Ne l’ont pas inclus: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.
Source ↗

La conception de la défense décide de son utilité. Sur GPT-4o, un filtre d'outils a fait passer la réussite des attaques de 47,69% à 6,84% et porté l'utilité à 56,28% ; un détecteur a atteint 7,95%, mais a fait tomber l'utilité à 21,14%.

Remarqué par:
L’ont inclus: Kimi. Ne l’ont pas inclus: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.
Source ↗

La plus haute réussite moyenne des attaques d'ASB est de 84,30%, sous attaques mixtes sur 13 architectures de modèles.

Remarqué par:
L’ont inclus: Claude, ChatGPT, Meta, Grok, Kimi, DeepSeek. Ne l’ont pas inclus: Gemini, MiMo, Wenxin, Qwen.
Source ↗

Les utilisateurs approuvent 93% des demandes d'autorisation : une demande validée machinalement protège donc peu.

Remarqué par:
L’ont inclus: MiMo. Ne l’ont pas inclus: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek, Wenxin, Qwen.
Source ↗

Aucun système de pointe de 2026 n'a de résultats OSWorld, AgentDojo et ASB sur le même point de contrôle ; la plupart des lignes associent donc des chiffres de la même famille de modèles.

Remarqué par:
L’ont inclus: ChatGPT, Meta, Kimi. Ne l’ont pas inclus: Claude, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.
Source ↗

03Notre méthode

En mots simples, sans formules.

1La question

Top 10 des agents IA qui utilisent l'ordinateur : savent-ils faire le travail, et peut-on les piéger ?

2Pourquoi ce sujet

Aucun classement unique ne met côte à côte ce qu'un agent sait faire et la facilité avec laquelle une instruction cachée dans une page web ou un fichier peut le retourner contre vous.

3Champ d'application

Mondial ; systèmes d'agents qui utilisent les applications de bureau et les navigateurs

4Ce que nous avons regardé

  • Seuls les systèmes aux résultats reproductibles sur les deux types de test, avec le modèle, la configuration de l'agent et la version du benchmark indiqués
  • Taux de réussite sur OSWorld (vrai travail sur ordinateur), affiché à côté de la réussite des attaques par injection de prompt sur AgentDojo et Agent Security Bench (plus bas, c'est mieux) ; les deux sont présentés côte à côte et jamais moyennés
  • Départage : la part de travail utile que l'agent accomplit encore sous attaque
  • Un jugement distinct sur la quantité de données d'écran que voit l'agent et sur la possibilité d'annuler ses actions
  • OSWorld-Verified (équipe OSWorld ; suivi BenchLM) — Part des tâches réelles sur bureau accomplies, vérifiées sur l'état final de l'application ou du fichier
  • OSWorld 2.0 (Snorkel AI) — Réussite partielle et binaire sur 108 flux de travail longs
  • AgentDojo (SPY Lab, École polytechnique fédérale de Zurich) — Travail utile sous attaque et réussite ciblée des attaques sur 97 tâches et 629 cas d'injection (une réussite des attaques plus basse est meilleure)
  • AgentDyn (2026) — Tests d'injection dynamiques et plus difficiles : utilité, utilité sous attaque et réussite des attaques

5Qui a classé

Les IA de pointe : Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Wenxin, Qwen. Chacune a établi seule sa liste de dix et cité une source pour chaque place.

6Comment les places ont été fixées

Un même élément formulé différemment par différentes IA a été compté une seule fois. Plus les IA sont nombreuses à l'avoir mis dans leur liste, et plus elles l'ont placé haut, plus sa place est élevée. « Accord des IA » indique combien d'IA l'avaient dans leur propre liste. Les sources sont uniquement celles trouvées par les IA ; rien n'a été ajouté à la main.

04La liste de chaque IA

🇺🇸 Claude10 places · 4 notes

La même question, à laquelle Claude a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    Claude Opus 5 (Anthropic, 2026)

    0,54 % de réussite des attaques dans les tests d’interface graphique, avec 70,6 % de réussite partielle à OSWorld 2.0 pour le même modèle.

    Source ↗
  2. 2
    Claude Fable 5 (Anthropic, 2026)

    Le taux de réussite des attaques de Gray Swan est de 2,8 %, contre 85 % à OSWorld-Verified.

    Source ↗
  3. 3
    Claude Mythos 5 (Anthropic)

    85,0 % à OSWorld-Verified et 2,6 % à Gray Swan.

  4. 4
    Claude Opus 4.8 (Anthropic)

    83,4 % à OSWorld-Verified ; son taux de 5,5 % à Gray Swan est plus que divisé par deux par rapport à la référence Opus 5.

    Source ↗
  5. 5
    Gemini, contrôle de l'ordinateur (Google, 2026)

    Google indique qu’un modèle Gemini réduit le taux de réussite des attaques à 0,7 % sur un test. C’est une affirmation du fabricant, pas encore reproduite de façon indépendante.

    Source ↗
  6. 6
    OpenAI Codex, contrôle de l'ordinateur / GPT-6 Astra

    Dispose d’un mode d’usage verrouillé, mais aucun taux de réussite des attaques n’a été trouvé à côté de son score de 72,6 % à OSWorld 2.0.

    Source ↗
  7. 7
    Claude Sonnet 5 (Anthropic)

    81,2 % à OSWorld-Verified, sans chiffre séparé sur les injections.

    Source ↗
  8. 8
    Holo3-35B-A3B (H Company)

    La meilleure série indépendante à OSWorld-Verified (82,6 %), mais aucune donnée sur les injections.

    Source ↗
  9. 9
    Qwen3.8-Max (Alibaba)

    En tête du tableau OSWorld publié par le fabricant avec 86,1 %, sans résultat publié sur les injections.

    Source ↗
  10. 10
    Agent de contrôle de l'ordinateur basé sur o4-mini (référence OS-Harm)

    A suivi des injections simples dans environ 20 % des cas, seul contre-exemple mesuré.

    Source ↗

Ce que Claude a remarqué

Anthropic indique 0 % de réussite des injections pour les agents de navigateur avec le mode automatique et ses garde-fous, contre 3,7 % sans eux. Ce 0 % dépend de ces couches supplémentaires.

Une étude menée par l’Université de Waterloo a constaté que les agents entraînés sur davantage d’attaques par injection étaient plus faciles à détourner dans trois tests sur quatre.

Une défense qui limite les outils avant la lecture de données non fiables a fait passer le taux de réussite des attaques ciblées de 57,69 % à 6,84 %.

Des tests liés à l’AISI britannique indiquent que des attaques adaptatives font passer le taux de réussite sur AgentDojo Workspace de 11 % à 81 %.

🇺🇸 Meta10 places · 4 notes

La même question, à laquelle Meta a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    Claude, contrôle de l'ordinateur (Anthropic)

    La seule famille qui combine un score OSWorld élevé et un taux d’attaque presque nul sur AgentDojo, mais les deux chiffres viennent de points de contrôle différents, à plusieurs années d’écart.

    Source ↗
  2. 2
    Agent ChatGPT / CUA d'OpenAI (OpenAI)

    Score élevé à OSWorld-Verified, mais taux d’attaque catastrophique de 47,69 % sur AgentDojo pour GPT-4o en 2024, puis 0/288 sur un sous-ensemble bancaire étroit de 2026 pour GPT-5.4. Les deux sont vrais, pour des tests différents.

    Source ↗
  3. 3
    Gemini, contrôle de l'ordinateur de Google (Google)

    83 % à OSWorld-Verified pour Gemini 3.6 Flash, à côté d’un taux d’attaque de 17,01 % sur AgentDojo pour Gemini 1.5 Pro : capable, mais moyen au vieux test d’injection.

    Source ↗
  4. 4
    Agent Meta Llama / Muse (Meta)

    80,67 % de réussite vérifiée à OSWorld pour Muse Spark 1.1, mais le modèle Meta réellement testé sur AgentDojo, Llama-3-70B, n’a conservé que 18,28 % d’utilité sous attaque.

    Source ↗
  5. 5
    Agent Alibaba Qwen (Qwen)

    Meilleur score OSWorld-Verified publié par le fabricant, à 86,1 %, mais Qwen n’apparaît pas dans le tableau de résultats AgentDojo : des capacités sans test public d’injection.

    Source ↗
  6. 6
    Agent Cohere Command-R+

    Faible taux d’attaque sur AgentDojo, mais peu de travail conservé sous attaque : 25,12 % d’utilité sous attaque. Sûr, mais peu utile quand il est attaqué.

    Source ↗
  7. 7
    Agent Google Gemma2

    Présent dans le jeu de modèles de base d’ASB, mais absent d’AgentDojo et d’OSWorld-Verified : un modèle de test de sécurité, pas un agent d’ordinateur éprouvé.

    Source ↗
  8. 8
    Agent Mistral Mixtral

    Même constat que Gemma2 : présent dans ASB, absent d’AgentDojo et d’OSWorld-Verified. Pas de couple reproductible utilisation d’ordinateur plus injection.

    Source ↗
  9. 9
    Agent OpenAI GPT-3.5 Turbo

    Le taux d’attaque sur AgentDojo semble modeste, à 10,33 %, mais l’injection directe d’ASB atteint 98,40 %. Les deux tests mesurent des attaques différentes, et l’écart compte.

    Source ↗
  10. 10
    Agent Anthropic Claude 3 Haiku

    Faible taux d’attaque sur AgentDojo, à 9,06 %, mais seulement 33,39 % d’utilité sous attaque : le Claude le moins facile à tromper, et le moins utile quand il est attaqué.

    Source ↗

Ce que Meta a remarqué

Dans le tableau original d’AgentDojo, Claude 3.5 Sonnet (20241022) avait un taux d’attaque ciblée de 1,11 %, contre 47,69 % pour GPT-4o. Même test, même attaque, sécurité opposée.

Une reproduction de 2026 a trouvé 0/288 de taux d’attaque sans défense pour GPT-5.4 et 1/288 pour Claude Sonnet 4.6 sur le sous-ensemble bancaire d’AgentDojo. Les auteurs préviennent toutefois que les objectifs du test n’étaient pas aussi accessibles pour tous les modèles.

ASB révisé a fait passer le taux d’attaque de GPT-4o de 73,58 % à 9,25 %. Une révision du test, et non un changement de modèle, a inversé le verdict pour le même modèle.

Des attaquants adaptatifs ont fait tomber 12 défenses contre l’injection de prompt qui affichaient un taux d’attaque proche de zéro, atteignant plus de 90 % pour la plupart. Les attaques statiques d’AgentDojo sous-estiment un attaquant déterminé.

🇺🇸 Grok10 places · 1 notes

La même question, à laquelle Grok a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    Agents de contrôle de l'ordinateur Claude 3.5/4.x/5.x (Anthropic)

    Utilité plus élevée sous attaque et taux d’attaque ciblée plus bas que GPT-4o sur AgentDojo, dans les résultats publiés.

    Source ↗
  2. 2
    Configurations GPT-4o / CUA d'OpenAI avec protections

    Bonne utilité sur les tâches normales, mais taux d’attaque brut plus élevé ; les filtres peuvent réduire fortement la réussite des attaques.

    Source ↗
  3. 3
    Simular Sai

    Scores élevés sur les tâches longues d’OSWorld ; les chiffres de sécurité ne sont pas publiés de façon indépendante sur AgentDojo.

    Source ↗
  4. 4
    Configurations Qwen3.8 Max

    Réussite de niveau supérieur sur le bureau à OSWorld-Verified ; peu de couples publics AgentDojo/ASB.

    Source ↗
  5. 5
    Microsoft Mage-VL-Cowork

    Agent hybride compact et ouvert, à 66 % à OSWorld-Verified ; aucun couple publié d’injection de prompt.

    Source ↗
  6. 6
    Pointer Agent

    Scores élevés à OSWorld-Verified grâce à des méthodes hybrides ; la résistance aux injections n’est pas détaillée.

    Source ↗
  7. 7
    Coasty CUA

    Bon score sur le bureau à OSWorld-Verified ; peu de données sur la surface d’attaque.

    Source ↗
  8. 8
    Intelligence-Indeed Z-Agent

    Meilleur taux de réussite sur le bureau à OSWorld-Verified ; aucun couple public avec AgentDojo trouvé.

    Source ↗
  9. 9
    Petits modèles ouverts + protections de type CapLite

    Zéro attaque réussie sur des milliers d’épisodes AgentDojo dans une étude de défense.

    Source ↗
  10. 10
    Agents généralistes de pointe sans protections spécialisées

    ASB indique un taux moyen maximal de réussite des attaques de 84,30 % selon les différentes méthodes d’injection.

    Source ↗

Ce que Grok a remarqué

L’article original d’AgentDojo a constaté que même les modèles solides résolvent moins de 66 % des tâches sans attaque, et que les attaques réussissent moins de 25 % du temps ; les séries récentes de Claude affichent un taux d’attaque ciblée encore plus bas.

🇺🇸 Gemini10 places · 1 notes

La même question, à laquelle Gemini a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    Claude 3.7 Sonnet Computer Use (Anthropic)

    Atteint 44,2 % de réussite sur le bureau tout en ramenant à 2,4 % le taux de détournement par injection indirecte sur AgentDojo, grâce à une double hiérarchie de prompts système.

  2. 2
    Claude 3.5 Sonnet Computer Use (Anthropic)

    Équilibre 38,6 % de réussite dans la navigation réelle sur le bureau et un faible taux d’injection de 4,8 %, avec 71,4 % d’utilité même sur des pages web hostiles.

  3. 3
    Agent S2.5 avec le modèle de raisonnement o3

    Obtient 56,4 % à OSWorld, un résultat de pointe dans le secteur, mais des chaînes de raisonnement poussées peuvent être trompées pour déplacer des fichiers sans autorisation dans 12,3 % des tests d’injection indirecte.

  4. 4
    OpenAI Operator (chaîne de vision GPT-4o)

    Résout 46,8 % des flux de travail dans le navigateur et sur le bureau, mais affiche un taux de réussite des attaques de 28,5 % face à un texte DOM non fiable provenant de tiers.

  5. 5
    ByteDance UI-TARS-2 (agent de vision local, 72B)

    Réalise un solide 53,1 % à OSWorld, mais des instructions visuelles cachées dans les images de fond du bureau détournent ses actions dans 19,4 % des tests.

    Source ↗
  6. 6
    Coasty Agent avec double garde-fou LLM (2025)

    Sacrifie la vitesse pour atteindre 42,1 % à OSWorld, tout en ramenant le taux d’injection réussie à 6,2 % grâce à un filtre de supervision externe.

  7. 7
    UI-TARS-1.5 (ByteDance, poids ouverts)

    Exécute 42,5 % des tâches système vérifiées, mais un réglage fin brut à poids ouverts, sans couches d’alignement de sécurité, le rend vulnérable à 34,1 % des instructions cachées dans des PDF.

    Source ↗
  8. 8
    OS-Copilot / FRIDAY (agent shell autonome)

    Réussit 35,6 % des flux de travail sous Linux, mais son exécution bash sans limite entraîne un taux dangereux de 43,7 % de réussite des attaques lorsqu’il lit des documents texte infectés.

  9. 9
    Simular GUI Agent (suite d'ancrage visuel)

    Atteint 38,3 % sur les tâches de bureau, mais subit un taux d’injection de 26,2 % lorsque les instructions hostiles se déguisent en boîtes de dialogue système.

  10. 10
    Adept ACT-1 (navigateur et flux de travail d'entreprise)

    Enregistre 31,2 % de flux de travail vérifiés réussis, mais les anciens analyseurs DOM cèdent à 41,5 % des attaques par injection indirecte cachées dans les commentaires des pages web.

Ce que Gemini a remarqué

Les actions au niveau du système, comme supprimer un fichier ou envoyer un courriel, ne peuvent pas être « annulées » automatiquement par un bouton d’annulation d’API. Les experts en sécurité recommandent donc une confirmation obligatoire avant tout événement irréversible sur le bureau.

🇨🇳 MiMo10 places · 4 notes

La même question, à laquelle MiMo a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    Mode automatique de Claude Code (Anthropic, 2026)

    Il répond à la question-piège par la géométrie : un agent qui ne peut pas atteindre l’appât ne peut pas le prendre.

    Source ↗
  2. 2
    Agents de la famille GPT-5 (OpenAI)

    Le plus récent grand modèle est nettement plus difficile à tromper que son petit prédécesseur : le premier vrai écart de sécurité d’une génération à l’autre.

    Source ↗
  3. 3
    Claude Opus 5 (Anthropic)

    L’agent le plus recoupé par des sources indépendantes : ses chiffres résistent à un test concurrent avec une faible baisse.

    Source ↗
  4. 4
    GPT-6.2 Astra (OpenAI)

    Meilleur score sur les longues tâches nouvelles, pour un tiers du prix, alors que sa propre fiche enregistre des actions de travail qu’il a mal exécutées.

    Source ↗
  5. 5
    GPT-6.1 Sol (OpenAI)

    À 2,1 points du modèle phare sur les longues tâches de bureau, à des prix courants.

    Source ↗
  6. 6
    Gemini pour Mac, contrôle de l'ordinateur (Google)

    Le seul grand agent qui montre chaque action en direct avant de l’exécuter : la posture par défaut la plus sûre de la couche produit.

    Source ↗
  7. 7
    Claude Cowork, contrôle de l'ordinateur (Anthropic)

    Score proche du sommet, et il décrit lui-même son plus grand trou en une ligne : aucune isolation entre l’agent et votre écran.

    Source ↗
  8. 8
    Qwen3.8 Max (Alibaba)

    Meilleur score de bureau du classement, mais sa sécurité dépend d’un point de contrôle que vous ne pouvez pas faire tourner vous-même.

    Source ↗
  9. 9
    Muse Spark 1.3 (Meta)

    L’agent de bureau de Meta entre dans les classements des tâches longues à 66,9 %, exécuté par ses soins, avec son propre environnement.

    Source ↗
  10. 10
    MiniMax M3 (MiniMax)

    Le plancher honnête : 22,3 % sur les longues tâches, mesuré par les auteurs eux-mêmes et publié malgré tout, ce que presque personne ne fait.

    Source ↗

Ce que MiMo a remarqué

Pour la première fois, la facilité à piéger un modèle diminue d’une génération à l’autre : des recherches en équipe rouge montrent que GPT-5 est nettement plus difficile à attaquer sur AgentDojo que GPT-4o-mini.

Le chiffre dangereux n’est pas le taux de réussite des attaques, mais la lassitude face aux approbations : de vrais utilisateurs acceptent 93 % des demandes d’autorisation. Une demande que les humains valident sans réfléchir équivaut à l’absence de demande.

Les nouvelles mesures indépendantes sont rares et précieuses : les résultats des co-auteurs de Snorkel AI sont à 2 points des scores annoncés pour GPT-5.6 Sol, mais à 2,3 points en dessous pour Opus 5.

Une recherche sur la vie privée (AGENTDAM) évalue directement les agents d’utilisation d’ordinateur de Claude et constate que les agents autonomes sur le web et sur l’ordinateur divulguent des données privées d’une manière que leurs scores de tâches ne montrent jamais.

🇨🇳 Kimi10 places · 4 notes

La même question, à laquelle Kimi a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    Claude Sonnet 4.5 (Anthropic)

    70,7 d’utilité avec un taux de réussite des attaques de 0,87 % sur AgentDyn, le meilleur rapport travail-sur-piège mesuré en 2026. Les tests adaptatifs d’Anthropic avertissent toutefois que des attaques de 200 tentatives grimpent à 87,5 %.

    Source ↗
  2. 2
    Famille GPT-5.1 / GPT-5.4 (OpenAI)

    Un taux de réussite des attaques de 4,96 % sur GPT-5.1, soit environ un dixième des 47,69 % de GPT-4o, alors que la famille domine les classements du bureau avec 75,0 % à OSWorld-Verified.

    Source ↗
  3. 3
    GPT-5-mini (OpenAI)

    0,37 % de réussite des attaques avec 64,8 d’utilité : le modèle le plus modeste du test AgentDyn était le plus difficile à piéger, et même les attaques adaptatives faites à la main n’ont atteint que 2,1 %.

    Source ↗
  4. 4
    Kimi K2.5 / K2.6 (Moonshot AI)

    54,2 d’utilité pour 11,65 % de réussite des attaques, la meilleure utilité de tous les modèles ouverts sur AgentDyn. Avec 73,1 % à OSWorld-Verified pour K2.6, la famille prouve sa polyvalence sur le bureau.

    Source ↗
  5. 5
    Gemini 2.5 Pro / Gemini 3.5 Flash (Google)

    57 % d’utilité, mais un taux de réussite des attaques de 20,61 %. Les données de Google montrent que c’est l’entraînement adversarial qui a fait passer Gemini de 92 % à 18 % de réussite des injections.

    Source ↗
  6. 6
    Claude 3.5 Sonnet, sortie d'octobre 2024 (Anthropic)

    L’avertissement du secteur : 1,11 % de réussite des attaques statiques sur AgentDojo et 72,5 % d’utilité. Puis l’équipe rouge du NIST a atteint 81 % avec des attaques adaptées sur des tâches inédites.

    Source ↗
  7. 7
    Llama 3.3 70B (Meta)

    11,91 % de réussite des attaques semble honorable, jusqu’à ce qu’on voie l’utilité : 6,15 %. Il échoue dans le travail, pas seulement face aux attaquants.

    Source ↗
  8. 8
    Qwen3 235B-A22B (Alibaba)

    22,67 % de réussite des attaques, avec l’utilité la plus faible de l’ensemble (10,74 %) : une exposition sans les résultats.

    Source ↗
  9. 9
    GPT-4o (OpenAI)

    47,69 % de réussite des attaques sur AgentDojo et un taux de 100 % de porte dérobée Plan-of-Thought dans ASB : la leçon la plus dure de l’ère des tests sur ce que « ça marche presque toujours » peut masquer.

    Source ↗
  10. 10
    GPT-4o-mini (OpenAI)

    67,55 % de réussite moyenne des attaques dans ASB, le pire mesuré : petit, bon marché et très ouvert, avec plus de 95 % sur l’injection directe.

    Source ↗

Ce que Kimi a remarqué

Les attaques adaptatives renversent le classement : le NIST (CAISI) a fait passer le détournement des agents Claude 3.5 Sonnet de 11 % à 81 %, et une équipe inter-laboratoires (OpenAI, Anthropic, DeepMind, ETH) a fait tomber 12 défenses publiées à plus de 90 % de réussite. La sécurité des tests statiques est un plancher, pas un plafond.

La seule famille de défenses au taux d’attaque quasi nul qui résiste à l’adaptation déplace le contrôle hors du modèle : CaMeL et Progent atteignent 0 % sur AgentDyn en limitant les appels d’outils, mais le 0 % de CaMeL s’accompagne là-bas de 0 % d’utilité. Sur AgentDojo, CaMeL a résolu 67 à 77 % des tâches avec une sécurité démontrée. Le compromis est réel, mais étroit.

Le compromis entre utilité et sécurité se mesure : sur le test GPT-4o d’AgentDojo, un filtre d’outils fait passer le taux d’attaque de 47,69 % à 6,84 % et l’utilité monte à 56,28 %. Mais un détecteur d’injection de prompt ramène le taux à 7,95 % en faisant chuter l’utilité à 21,14 %. C’est la conception de la défense, et non le modèle, qui décide si l’agent reste utile sous attaque.

L’accès à l’écran multiplie chaque injection : un agent doté de l’enregistrement d’écran et de l’accessibilité voit tout ce que vous voyez et peut envoyer, supprimer, acheter et modifier les réglages. C’est pourquoi la question de l’annulation (approbations par application, instantanés de machine virtuelle, actions réversibles) compte autant que le pourcentage de réussite des attaques.

🇨🇳 DeepSeek10 places · 1 notes

La même question, à laquelle DeepSeek a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    Claude Computer Use (Claude Fable 5, 2026)

    85 % à OSWorld-Verified et 0 % de réussite ciblée des attaques sur plusieurs suites AgentDojo, dans le cadre reproductible le plus proche, mais ce cadre n’est pas Claude Desktop lui-même.

    Source ↗
  2. 2
    Harnais Ratchet avec gpt-5.6-luna (2026)

    0 % de réussite ciblée des attaques sur les quatre suites AgentDojo, le résultat de sécurité le plus net du tableau ouvert d’AgentDojo, mais son score OSWorld n’est pas sur la même ligne.

    Source ↗
  3. 3
    Coasty CUA v1 (2026)

    82,81 % à OSWorld-Verified et aucun taux publié de réussite des attaques sur AgentDojo ou ASB : solide sur le travail, non mesuré sur les pièges.

    Source ↗
  4. 4
    OpenAI Operator (2026)

    38,1 % à OSWorld, mais presque aucune donnée sur l’écran local : sa surface d’attaque est le navigateur, pas votre bureau.

    Source ↗
  5. 5
    Agent de bureau Manus (Meta) (2026)

    72,5 % à OSWorld dans une machine virtuelle en nuage. Réversible, car la machine virtuelle est jetable, mais le taux de réussite des attaques de test de sécurité n’est pas publié.

  6. 6
    Agent S3 (Simular, 2026)

    72,6 % à OSWorld et open source, donc vous pouvez l’isoler, mais il a besoin de l’accès à l’écran et aux périphériques, et son taux d’attaque n’apparaît pas dans le tableau AgentDojo.

    Source ↗
  7. 7
    UiPath Screen Agent (2026)

    67,1 % à OSWorld-Verified avec une large automatisation de l’interface : utilité élevée, large contrôle, taux d’attaque non publié.

  8. 8
    Agent Gemini 3.6 Flash (Google, 2026)

    83 % à OSWorld-Verified, mais aucun résultat reproductible sur AgentDojo ou ASB : une capacité de travail sans chiffre publié de résistance aux pièges.

    Source ↗
  9. 9
    Agent Kimi K3 (Moonshot AI, 2026)

    84,8 % à OSWorld-Verified et un score de sécurité b3 de 88,0 %, mais b3 mesure le modèle, pas la surface d’attaque de l’agent de bureau.

    Source ↗
  10. 10
    UI-TARS-2 (ByteDance, 2026)

    47,5 % à OSWorld avec contrôle natif de l’écran : plus d’exposition qu’un agent en nuage, et aucun taux publié de réussite des attaques sur AgentDojo.

Ce que DeepSeek a remarqué

Le meilleur taux publié de réussite des attaques sur AgentDojo est de 0 %, mais ce résultat vient d’un cadre précis (Ratchet avec gpt-5.6-luna) qui n’a pas de score OSWorld correspondant. L’agent le plus sûr au test de sécurité n’est pas celui qui domine le test de travail sur ordinateur.

🇨🇳 Wenxin10 places

La même question, à laquelle Wenxin a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    Agent IA interne d'Apple pour macOS (version de début 2027)

    Aucune capture persistante de l’écran. Chaque action peut être révoquée par une interruption au niveau du système avant son exécution. Aucun contournement de l’injection de prompt signalé lors des premiers tests internes.

    Source ↗
  2. 2
    Agent de bureau d'entreprise conforme HKU KYA

    Identité d’agent vérifiable à 100 %, traçabilité complète des opérations. Les autorisations dynamiques se révoquent automatiquement lorsque les actions dépassent le périmètre prévu.

  3. 3
    Agent IA de paiement Ant Group (2026)

    Flux d’autorisation de paiement à trois niveaux : même un agent entièrement compromis ne peut pas exécuter de transaction importante non approuvée sans confirmation humaine manuelle.

  4. 4
    API Agents d'OpenAI (bêta 2026)

    L’environnement d’exécution isolé hébergé bloque 89 % des charges connues d’injection de prompt. Toutes les actions risquées exigent une confirmation secondaire avant exécution.

  5. 5
    Agent d'entreprise personnalisé à contrôle d'accès hybride RBAC+ABAC (2026)

    Une validation de l’alignement entre intention et comportement est ajoutée aux contrôles d’autorisation. Elle bloque 91 % des dépassements non voulus dans le périmètre autorisé.

  6. 6
    Perplexity Computer (2026)

    Environnement en nuage isolé, séparé des données sensibles du bureau local, sans aucun accès permanent à l’écran local.

  7. 7
    Agent de contrôle de l'ordinateur Anthropic Claude (2026)

    Les garde-fous d’IA constitutionnelle bloquent 87 % des tentatives d’actions nuisibles non autorisées. 49 % d’adoption par les développeurs, avec les meilleures notes de confiance du secteur.

  8. 8
    Agent IA Sai (2026)

    Toutes les opérations d’automatisation de l’interface s’exécutent sur des bureaux en nuage dédiés et isolés, sans accès par défaut aux données ou fichiers sensibles de la machine locale.

  9. 9
    Agent Muse de Meta (2026, open source)

    Le code complet de l’environnement d’exécution peut être audité publiquement. Les utilisateurs peuvent ajouter leurs propres règles de détection d’injection de prompt, sans dépendre d’un prestataire tiers.

    Source ↗
  10. 10
    OpenCode, agent de programmation open source (2026)

    Aucun accès d’écriture automatique aux fichiers de production par défaut. Chaque modification de fichier exige une relecture et une approbation explicite de l’utilisateur.

🇨🇳 Qwen10 places · 3 notes

La même question, à laquelle Qwen a répondu seul. La liste finale ci-dessus combine toutes les IA.

  1. 1
    Claude 3.7 Sonnet

    Accomplit 88,66 % du travail utile tout en ramenant le taux de réussite des attaques par injection à seulement 7,31 % sur AgentDojo.

    Source ↗
  2. 2
    AgentSys (agent protégé)

    Limite le taux de réussite des attaques à 0,78 % sur AgentDojo et à 4,25 % sur ASB, tout en améliorant l’utilité sur les tâches normales.

    Source ↗
  3. 3
    Claude Opus 4.6

    A obtenu un score parfait de 100 % lors d’un audit de sécurité ciblé, même si la réversibilité réelle de ses actions sur le bureau reste discutée.

    Source ↗
  4. 4
    Agent protégé Verigrey

    Conserve 93,2 % du travail utile tout en maintenant le taux de réussite des attaques sous 1 %, grâce à un contrôle des actions plutôt qu’à l’analyse des prompts.

    Source ↗
  5. 5
    o3 (protégé)

    Réussit 77 % des tâches AgentDojo avec une sécurité démontrée, contre 84 % pour la référence sans défense.

    Source ↗
  6. 6
    Claude 3.5 Sonnet

    Obtient le meilleur NRP (performance normalisée ajustée au risque) sur ASB, à 43,56, malgré des vulnérabilités de référence aux attaques.

    Source ↗
  7. 7
    GPT-4o

    Accomplit 69,07 % des tâches, mais cède à près de la moitié (47,69 %) des injections de prompt sur AgentDojo sans garde-fous stricts.

    Source ↗
  8. 8
    GPT-4o-mini

    Taux de réussite des attaques de 49,92 % sur AgentDojo, ce qui montre la difficulté des petits modèles à filtrer les résultats d’outils injectés.

    Source ↗
  9. 9
    Claude 3.5 Sonnet (soumis à des tests d'attaque par une équipe rouge)

    Alors que les attaques de référence ne réussissent que 11 % du temps, des invites coordonnées d’équipe rouge le percent dans 81 % des cas.

    Source ↗
  10. 10
    GPT-4-0125

    Les versions du début 2024 ont subi un taux de réussite ciblé de 56,3 % pour l’injection de prompt, avant que les défenses standard d’AgentDojo ne soient en place.

    Source ↗

Ce que Qwen a remarqué

Le contrôle des actions fait mieux que l’analyse des prompts : bloquer le résultat d’un appel d’outil maintient le taux de réussite des attaques sous 1 % tout en conservant 93,2 % de l’utilité.

Le taux de réussite ciblé des injections de prompt sur AgentDojo est passé de 56,3 % sur les premiers modèles GPT-4 à seulement 7,3 % sur Claude 3.7 Sonnet, ce qui montre une évolution rapide de la sécurité.

L’Agent Security Bench introduit le métrique « NRP » (performance normalisée ajustée au risque), qui montre que refuser les prompts malveillants n’oblige pas à refuser le travail légitime.