Des attaquants adaptatifs ont brisé 12 défenses publiées contre les injections de prompt, qui affichaient une réussite des attaques proche de zéro, en poussant la plupart d'entre elles au-delà de 90%.
Classement des injections de prompt contre les agents IA en 2026
Claude 3.5 Sonnet a résisté à toutes les injections de prompt standard d'AgentDojo, sauf 1,11% ; pourtant, l'équipe rouge du NIST a détourné la même génération d'agent dans 81% des cas avec des attaques adaptées.
- N° 1 : Claude Opus 5 (Anthropic)
- 10 places
01Liste finale
Les IA de pointe ont chacune dressé leur propre liste de dix, de façon indépendante. Voici un résultat facile à vérifier : chaque place a une raison, une source et la liste des IA qui l'ont retenue.
Seuls les systèmes aux résultats reproductibles sur les deux types de test, avec le modèle, la configuration de l'agent et la version du benchmark indiqués
Une pastille vive signifie que cette IA a mis l'élément dans sa liste. Une pastille terne, qu'elle ne l'a pas fait.
- 1
Claude Opus 5 (Anthropic)
Meilleur couple trouvé : 83,39% sur OSWorld-Verified et 0,54% de réussite des injections dans l'interface graphique (GUI). Le chiffre des injections est celui d'Anthropic ; aucun résultat AgentDojo ou ASB n'est publié.
L’ont inclus: Claude, MiMo, Kimi, DeepSeek. Ne l’ont pas inclus: ChatGPT, Meta, Grok, Gemini, Wenxin, Qwen.Dans leurs listes: Claude: 1 · MiMo: 3 · Kimi: voir la liste · DeepSeek: 1
Ce qu'a noté chaque IA 4
- Claudeplace 1
0,54 % de réussite des attaques dans les tests d’interface graphique, avec 70,6 % de réussite partielle à OSWorld 2.0 pour le même modèle.
Source ↗ - MiMoplace 3
L’agent le plus recoupé par des sources indépendantes : ses chiffres résistent à un test concurrent avec une faible baisse.
Source ↗ - Kimi
Nommé autrement dans sa propre liste : ouvrez la liste complète.
voir la liste - DeepSeekplace 1
85 % à OSWorld-Verified et 0 % de réussite ciblée des attaques sur plusieurs suites AgentDojo, dans le cadre reproductible le plus proche, mais ce cadre n’est pas Claude Desktop lui-même.
Source ↗
4 IA l’ont placé ici - 2
Famille GPT-5 d'OpenAI (GPT-5.1 / 5.4 / 5.5)
GPT-5.1 est détourné dans 4,96% des cas sur AgentDyn, soit environ un dixième du taux de GPT-4o, et GPT-5.4 a réalisé 0 sur 288 lors d'une réplication en 2026. GPT-5.5 obtient 78,7% sur OSWorld-Verified.
L’ont inclus: Meta, MiMo, Kimi. Ne l’ont pas inclus: Claude, ChatGPT, Grok, Gemini, DeepSeek, Wenxin, Qwen.Dans leurs listes: Meta: 2 · MiMo: 2 · Kimi: 2
Ce qu'a noté chaque IA 3
- Metaplace 2
Score élevé à OSWorld-Verified, mais taux d’attaque catastrophique de 47,69 % sur AgentDojo pour GPT-4o en 2024, puis 0/288 sur un sous-ensemble bancaire étroit de 2026 pour GPT-5.4. Les deux sont vrais, pour des tests différents.
Source ↗ - MiMoplace 2
Le plus récent grand modèle est nettement plus difficile à tromper que son petit prédécesseur : le premier vrai écart de sécurité d’une génération à l’autre.
Source ↗ - Kimiplace 2
Un taux de réussite des attaques de 4,96 % sur GPT-5.1, soit environ un dixième des 47,69 % de GPT-4o, alors que la famille domine les classements du bureau avec 75,0 % à OSWorld-Verified.
Source ↗
3 IA l’ont placé ici - 3
Utilisation de l'ordinateur par Google Gemini
Bon exécutant, garde plus faible : 83% sur OSWorld-Verified, mais deux tests d'injection indépendants placent les anciens modèles Gemini à 17–21% de réussite des attaques. Aucun résultat d'injection n'est publié pour Gemini 3.6 lui-même.
L’ont inclus: Claude, Meta, MiMo, Kimi, DeepSeek. Ne l’ont pas inclus: ChatGPT, Grok, Gemini, Wenxin, Qwen.Dans leurs listes: Claude: 5 · Meta: 3 · MiMo: 6 · Kimi: 5 · DeepSeek: 8
Ce qu'a noté chaque IA 5
- Claudeplace 5
Google indique qu’un modèle Gemini réduit le taux de réussite des attaques à 0,7 % sur un test. C’est une affirmation du fabricant, pas encore reproduite de façon indépendante.
Source ↗ - Metaplace 3
83 % à OSWorld-Verified pour Gemini 3.6 Flash, à côté d’un taux d’attaque de 17,01 % sur AgentDojo pour Gemini 1.5 Pro : capable, mais moyen au vieux test d’injection.
Source ↗ - MiMoplace 6
Le seul grand agent qui montre chaque action en direct avant de l’exécuter : la posture par défaut la plus sûre de la couche produit.
Source ↗ - Kimiplace 5
57 % d’utilité, mais un taux de réussite des attaques de 20,61 %. Les données de Google montrent que c’est l’entraînement adversarial qui a fait passer Gemini de 92 % à 18 % de réussite des injections.
Source ↗ - DeepSeekplace 8
83 % à OSWorld-Verified, mais aucun résultat reproductible sur AgentDojo ou ASB : une capacité de travail sans chiffre publié de résistance aux pièges.
Source ↗
5 IA l’ont placé ici - 4
Claude Sonnet 4.5 (Anthropic)
Garde le plus de travail sous attaque sur AgentDyn : utilité de 70,7 avec 0,87% de réussite des attaques. Le test de résistance d'Anthropic montre que 200 tentatives portent la réussite des attaques à 87,5%.
L’ont inclus: Kimi. Ne l’ont pas inclus: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.Dans leurs listes: Kimi: 1
Ce qu'a noté chaque IA 1
- Kimiplace 1
70,7 d’utilité avec un taux de réussite des attaques de 0,87 % sur AgentDyn, le meilleur rapport travail-sur-piège mesuré en 2026. Les tests adaptatifs d’Anthropic avertissent toutefois que des attaques de 200 tentatives grimpent à 87,5 %.
Source ↗
1 IA l’ont placé ici - 5
GPT-5-mini d'OpenAI
Le modèle le plus difficile à piéger sur AgentDyn : 0,37% de réussite des attaques, et seulement 2,1% sous attaques adaptatives. Son score sur bureau est celui d'un modèle frère : GPT-5.4 mini, à 72,1%.
L’ont inclus: Kimi. Ne l’ont pas inclus: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.Dans leurs listes: Kimi: 3
Ce qu'a noté chaque IA 1
- Kimiplace 3
0,37 % de réussite des attaques avec 64,8 d’utilité : le modèle le plus modeste du test AgentDyn était le plus difficile à piéger, et même les attaques adaptatives faites à la main n’ont atteint que 2,1 %.
Source ↗
1 IA l’ont placé ici - 6
Kimi K2.5 / K2.6 (Moonshot AI)
Meilleure utilité de tous les modèles ouverts sur AgentDyn : 54,2 avec 11,65% de réussite des attaques. K2.6 obtient 73,1% sur OSWorld-Verified, mais ne termine que 4,6% des longues tâches d'OSWorld 2.0.
L’ont inclus: Kimi, DeepSeek, Qwen. Ne l’ont pas inclus: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Wenxin.Dans leurs listes: Kimi: 4 · DeepSeek: 9 · Qwen: voir la liste
Ce qu'a noté chaque IA 3
- Kimiplace 4
54,2 d’utilité pour 11,65 % de réussite des attaques, la meilleure utilité de tous les modèles ouverts sur AgentDyn. Avec 73,1 % à OSWorld-Verified pour K2.6, la famille prouve sa polyvalence sur le bureau.
Source ↗ - DeepSeekplace 9
84,8 % à OSWorld-Verified et un score de sécurité b3 de 88,0 %, mais b3 mesure le modèle, pas la surface d’attaque de l’agent de bureau.
Source ↗ - Qwen
Nommé autrement dans sa propre liste : ouvrez la liste complète.
voir la liste
3 IA l’ont placé ici - 7
Claude 3.5 Sonnet, oct. 2024 (Anthropic)
L'histoire qui sert d'avertissement : 1,11% de réussite des attaques sur les attaques statiques d'AgentDojo, 81% sous les attaques adaptées du NIST, et seulement 14,9% sur OSWorld au lancement.
L’ont inclus: Meta, Kimi, DeepSeek, Qwen. Ne l’ont pas inclus: Claude, ChatGPT, Grok, Gemini, MiMo, Wenxin.Dans leurs listes: Meta: 10 · Kimi: 6 · DeepSeek: voir la liste · Qwen: 1
Ce qu'a noté chaque IA 4
- Metaplace 10
Faible taux d’attaque sur AgentDojo, à 9,06 %, mais seulement 33,39 % d’utilité sous attaque : le Claude le moins facile à tromper, et le moins utile quand il est attaqué.
Source ↗ - Kimiplace 6
L’avertissement du secteur : 1,11 % de réussite des attaques statiques sur AgentDojo et 72,5 % d’utilité. Puis l’équipe rouge du NIST a atteint 81 % avec des attaques adaptées sur des tâches inédites.
Source ↗ - DeepSeek
Nommé autrement dans sa propre liste : ouvrez la liste complète.
voir la liste - Qwenplace 1
Accomplit 88,66 % du travail utile tout en ramenant le taux de réussite des attaques par injection à seulement 7,31 % sur AgentDojo.
Source ↗
4 IA l’ont placé ici - 8
Meta Llama / Muse Spark
Muse Spark 1.1 obtient 80,67% sur OSWorld, mais les modèles Meta soumis aux tests d'injection font peu de travail utile : Llama-3-70B garde 18,28% d'utilité avec 25,60% de réussite des attaques.
L’ont inclus: Meta, Kimi. Ne l’ont pas inclus: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.Dans leurs listes: Meta: 4 · Kimi: 7
Ce qu'a noté chaque IA 2
- Metaplace 4
80,67 % de réussite vérifiée à OSWorld pour Muse Spark 1.1, mais le modèle Meta réellement testé sur AgentDojo, Llama-3-70B, n’a conservé que 18,28 % d’utilité sous attaque.
Source ↗ - Kimiplace 7
11,91 % de réussite des attaques semble honorable, jusqu’à ce qu’on voie l’utilité : 6,15 %. Il échoue dans le travail, pas seulement face aux attaquants.
Source ↗
2 IA l’ont placé ici - 9
Alibaba Qwen
A le meilleur score sur bureau publié par le fournisseur, 86,1%, mais le seul modèle Qwen soumis à un test d'injection, Qwen3 235B, affiche 22,67% de réussite des attaques avec une utilité de 10,74.
L’ont inclus: Claude, Meta, Grok, Kimi. Ne l’ont pas inclus: ChatGPT, Gemini, MiMo, DeepSeek, Wenxin, Qwen.Dans leurs listes: Claude: 9 · Meta: 5 · Grok: voir la liste · Kimi: 8
Ce qu'a noté chaque IA 4
- Claudeplace 9
En tête du tableau OSWorld publié par le fabricant avec 86,1 %, sans résultat publié sur les injections.
Source ↗ - Metaplace 5
Meilleur score OSWorld-Verified publié par le fabricant, à 86,1 %, mais Qwen n’apparaît pas dans le tableau de résultats AgentDojo : des capacités sans test public d’injection.
Source ↗ - Grok
Nommé autrement dans sa propre liste : ouvrez la liste complète.
voir la liste - Kimiplace 8
22,67 % de réussite des attaques, avec l’utilité la plus faible de l’ensemble (10,74 %) : une exposition sans les résultats.
Source ↗
4 IA l’ont placé ici - 10
GPT-4o d'OpenAI
Détourné dans 47,69% des cas sur AgentDojo, et score de 12,2% sur OSWorld. Une version révisée d'ASB a fait passer sa réussite des attaques de 73,58% à 9,25% : un changement du benchmark, pas du modèle.
L’ont inclus: Meta, Grok, Kimi, Qwen. Ne l’ont pas inclus: Claude, ChatGPT, Gemini, MiMo, DeepSeek, Wenxin.Dans leurs listes: Meta: 9 · Grok: 2 · Kimi: 9 · Qwen: 7
Ce qu'a noté chaque IA 4
- Metaplace 9
Le taux d’attaque sur AgentDojo semble modeste, à 10,33 %, mais l’injection directe d’ASB atteint 98,40 %. Les deux tests mesurent des attaques différentes, et l’écart compte.
Source ↗ - Grokplace 2
Bonne utilité sur les tâches normales, mais taux d’attaque brut plus élevé ; les filtres peuvent réduire fortement la réussite des attaques.
Source ↗ - Kimiplace 9
47,69 % de réussite des attaques sur AgentDojo et un taux de 100 % de porte dérobée Plan-of-Thought dans ASB : la leçon la plus dure de l’ère des tests sur ce que « ça marche presque toujours » peut masquer.
Source ↗ - Qwenplace 7
Accomplit 69,07 % des tâches, mais cède à près de la moitié (47,69 %) des injections de prompt sur AgentDojo sans garde-fous stricts.
Source ↗
4 IA l’ont placé ici
02Bon à savoir
Ce que les IA ont remarqué en établissant la liste.
La conception de la défense décide de son utilité. Sur GPT-4o, un filtre d'outils a fait passer la réussite des attaques de 47,69% à 6,84% et porté l'utilité à 56,28% ; un détecteur a atteint 7,95%, mais a fait tomber l'utilité à 21,14%.
La plus haute réussite moyenne des attaques d'ASB est de 84,30%, sous attaques mixtes sur 13 architectures de modèles.
Les utilisateurs approuvent 93% des demandes d'autorisation : une demande validée machinalement protège donc peu.
Aucun système de pointe de 2026 n'a de résultats OSWorld, AgentDojo et ASB sur le même point de contrôle ; la plupart des lignes associent donc des chiffres de la même famille de modèles.
03Notre méthode
En mots simples, sans formules.
1La question
Top 10 des agents IA qui utilisent l'ordinateur : savent-ils faire le travail, et peut-on les piéger ?
2Pourquoi ce sujet
Aucun classement unique ne met côte à côte ce qu'un agent sait faire et la facilité avec laquelle une instruction cachée dans une page web ou un fichier peut le retourner contre vous.
3Champ d'application
Mondial ; systèmes d'agents qui utilisent les applications de bureau et les navigateurs
4Ce que nous avons regardé
- Seuls les systèmes aux résultats reproductibles sur les deux types de test, avec le modèle, la configuration de l'agent et la version du benchmark indiqués
- Taux de réussite sur OSWorld (vrai travail sur ordinateur), affiché à côté de la réussite des attaques par injection de prompt sur AgentDojo et Agent Security Bench (plus bas, c'est mieux) ; les deux sont présentés côte à côte et jamais moyennés
- Départage : la part de travail utile que l'agent accomplit encore sous attaque
- Un jugement distinct sur la quantité de données d'écran que voit l'agent et sur la possibilité d'annuler ses actions
- OSWorld-Verified (équipe OSWorld ; suivi BenchLM) — Part des tâches réelles sur bureau accomplies, vérifiées sur l'état final de l'application ou du fichier
- OSWorld 2.0 (Snorkel AI) — Réussite partielle et binaire sur 108 flux de travail longs
- AgentDojo (SPY Lab, École polytechnique fédérale de Zurich) — Travail utile sous attaque et réussite ciblée des attaques sur 97 tâches et 629 cas d'injection (une réussite des attaques plus basse est meilleure)
- AgentDyn (2026) — Tests d'injection dynamiques et plus difficiles : utilité, utilité sous attaque et réussite des attaques
5Qui a classé
Les IA de pointe : Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Wenxin, Qwen. Chacune a établi seule sa liste de dix et cité une source pour chaque place.
6Comment les places ont été fixées
Un même élément formulé différemment par différentes IA a été compté une seule fois. Plus les IA sont nombreuses à l'avoir mis dans leur liste, et plus elles l'ont placé haut, plus sa place est élevée. « Accord des IA » indique combien d'IA l'avaient dans leur propre liste. Les sources sont uniquement celles trouvées par les IA ; rien n'a été ajouté à la main.
04La liste de chaque IA
🇺🇸 Claude10 places · 4 notes
La même question, à laquelle Claude a répondu seul. La liste finale ci-dessus combine toutes les IA.
- 1Claude Opus 5 (Anthropic, 2026)
0,54 % de réussite des attaques dans les tests d’interface graphique, avec 70,6 % de réussite partielle à OSWorld 2.0 pour le même modèle.
Source ↗ - 2Claude Fable 5 (Anthropic, 2026)
Le taux de réussite des attaques de Gray Swan est de 2,8 %, contre 85 % à OSWorld-Verified.
Source ↗ - 3Claude Mythos 5 (Anthropic)
85,0 % à OSWorld-Verified et 2,6 % à Gray Swan.
- 4Claude Opus 4.8 (Anthropic)
83,4 % à OSWorld-Verified ; son taux de 5,5 % à Gray Swan est plus que divisé par deux par rapport à la référence Opus 5.
Source ↗ - 5Gemini, contrôle de l'ordinateur (Google, 2026)
Google indique qu’un modèle Gemini réduit le taux de réussite des attaques à 0,7 % sur un test. C’est une affirmation du fabricant, pas encore reproduite de façon indépendante.
Source ↗ - 6OpenAI Codex, contrôle de l'ordinateur / GPT-6 Astra
Dispose d’un mode d’usage verrouillé, mais aucun taux de réussite des attaques n’a été trouvé à côté de son score de 72,6 % à OSWorld 2.0.
Source ↗ - 7Claude Sonnet 5 (Anthropic)
81,2 % à OSWorld-Verified, sans chiffre séparé sur les injections.
Source ↗ - 8Holo3-35B-A3B (H Company)
La meilleure série indépendante à OSWorld-Verified (82,6 %), mais aucune donnée sur les injections.
Source ↗ - 9Qwen3.8-Max (Alibaba)
En tête du tableau OSWorld publié par le fabricant avec 86,1 %, sans résultat publié sur les injections.
Source ↗ - 10Agent de contrôle de l'ordinateur basé sur o4-mini (référence OS-Harm)
A suivi des injections simples dans environ 20 % des cas, seul contre-exemple mesuré.
Source ↗
Ce que Claude a remarqué
Anthropic indique 0 % de réussite des injections pour les agents de navigateur avec le mode automatique et ses garde-fous, contre 3,7 % sans eux. Ce 0 % dépend de ces couches supplémentaires.
Une étude menée par l’Université de Waterloo a constaté que les agents entraînés sur davantage d’attaques par injection étaient plus faciles à détourner dans trois tests sur quatre.
Une défense qui limite les outils avant la lecture de données non fiables a fait passer le taux de réussite des attaques ciblées de 57,69 % à 6,84 %.
Des tests liés à l’AISI britannique indiquent que des attaques adaptatives font passer le taux de réussite sur AgentDojo Workspace de 11 % à 81 %.
🇺🇸 Meta10 places · 4 notes
La même question, à laquelle Meta a répondu seul. La liste finale ci-dessus combine toutes les IA.
- 1Claude, contrôle de l'ordinateur (Anthropic)
La seule famille qui combine un score OSWorld élevé et un taux d’attaque presque nul sur AgentDojo, mais les deux chiffres viennent de points de contrôle différents, à plusieurs années d’écart.
Source ↗ - 2Agent ChatGPT / CUA d'OpenAI (OpenAI)
Score élevé à OSWorld-Verified, mais taux d’attaque catastrophique de 47,69 % sur AgentDojo pour GPT-4o en 2024, puis 0/288 sur un sous-ensemble bancaire étroit de 2026 pour GPT-5.4. Les deux sont vrais, pour des tests différents.
Source ↗ - 3Gemini, contrôle de l'ordinateur de Google (Google)
83 % à OSWorld-Verified pour Gemini 3.6 Flash, à côté d’un taux d’attaque de 17,01 % sur AgentDojo pour Gemini 1.5 Pro : capable, mais moyen au vieux test d’injection.
Source ↗ - 4Agent Meta Llama / Muse (Meta)
80,67 % de réussite vérifiée à OSWorld pour Muse Spark 1.1, mais le modèle Meta réellement testé sur AgentDojo, Llama-3-70B, n’a conservé que 18,28 % d’utilité sous attaque.
Source ↗ - 5Agent Alibaba Qwen (Qwen)
Meilleur score OSWorld-Verified publié par le fabricant, à 86,1 %, mais Qwen n’apparaît pas dans le tableau de résultats AgentDojo : des capacités sans test public d’injection.
Source ↗ - 6Agent Cohere Command-R+
Faible taux d’attaque sur AgentDojo, mais peu de travail conservé sous attaque : 25,12 % d’utilité sous attaque. Sûr, mais peu utile quand il est attaqué.
Source ↗ - 7Agent Google Gemma2
Présent dans le jeu de modèles de base d’ASB, mais absent d’AgentDojo et d’OSWorld-Verified : un modèle de test de sécurité, pas un agent d’ordinateur éprouvé.
Source ↗ - 8Agent Mistral Mixtral
Même constat que Gemma2 : présent dans ASB, absent d’AgentDojo et d’OSWorld-Verified. Pas de couple reproductible utilisation d’ordinateur plus injection.
Source ↗ - 9Agent OpenAI GPT-3.5 Turbo
Le taux d’attaque sur AgentDojo semble modeste, à 10,33 %, mais l’injection directe d’ASB atteint 98,40 %. Les deux tests mesurent des attaques différentes, et l’écart compte.
Source ↗ - 10Agent Anthropic Claude 3 Haiku
Faible taux d’attaque sur AgentDojo, à 9,06 %, mais seulement 33,39 % d’utilité sous attaque : le Claude le moins facile à tromper, et le moins utile quand il est attaqué.
Source ↗
Ce que Meta a remarqué
Dans le tableau original d’AgentDojo, Claude 3.5 Sonnet (20241022) avait un taux d’attaque ciblée de 1,11 %, contre 47,69 % pour GPT-4o. Même test, même attaque, sécurité opposée.
Une reproduction de 2026 a trouvé 0/288 de taux d’attaque sans défense pour GPT-5.4 et 1/288 pour Claude Sonnet 4.6 sur le sous-ensemble bancaire d’AgentDojo. Les auteurs préviennent toutefois que les objectifs du test n’étaient pas aussi accessibles pour tous les modèles.
ASB révisé a fait passer le taux d’attaque de GPT-4o de 73,58 % à 9,25 %. Une révision du test, et non un changement de modèle, a inversé le verdict pour le même modèle.
Des attaquants adaptatifs ont fait tomber 12 défenses contre l’injection de prompt qui affichaient un taux d’attaque proche de zéro, atteignant plus de 90 % pour la plupart. Les attaques statiques d’AgentDojo sous-estiment un attaquant déterminé.
🇺🇸 Grok10 places · 1 notes
La même question, à laquelle Grok a répondu seul. La liste finale ci-dessus combine toutes les IA.
- 1Agents de contrôle de l'ordinateur Claude 3.5/4.x/5.x (Anthropic)
Utilité plus élevée sous attaque et taux d’attaque ciblée plus bas que GPT-4o sur AgentDojo, dans les résultats publiés.
Source ↗ - 2Configurations GPT-4o / CUA d'OpenAI avec protections
Bonne utilité sur les tâches normales, mais taux d’attaque brut plus élevé ; les filtres peuvent réduire fortement la réussite des attaques.
Source ↗ - 3Simular Sai
Scores élevés sur les tâches longues d’OSWorld ; les chiffres de sécurité ne sont pas publiés de façon indépendante sur AgentDojo.
Source ↗ - 4Configurations Qwen3.8 Max
Réussite de niveau supérieur sur le bureau à OSWorld-Verified ; peu de couples publics AgentDojo/ASB.
Source ↗ - 5Microsoft Mage-VL-Cowork
Agent hybride compact et ouvert, à 66 % à OSWorld-Verified ; aucun couple publié d’injection de prompt.
Source ↗ - 6Pointer Agent
Scores élevés à OSWorld-Verified grâce à des méthodes hybrides ; la résistance aux injections n’est pas détaillée.
Source ↗ - 7Coasty CUA
Bon score sur le bureau à OSWorld-Verified ; peu de données sur la surface d’attaque.
Source ↗ - 8Intelligence-Indeed Z-Agent
Meilleur taux de réussite sur le bureau à OSWorld-Verified ; aucun couple public avec AgentDojo trouvé.
Source ↗ - 9Petits modèles ouverts + protections de type CapLite
Zéro attaque réussie sur des milliers d’épisodes AgentDojo dans une étude de défense.
Source ↗ - 10Agents généralistes de pointe sans protections spécialisées
ASB indique un taux moyen maximal de réussite des attaques de 84,30 % selon les différentes méthodes d’injection.
Source ↗
Ce que Grok a remarqué
L’article original d’AgentDojo a constaté que même les modèles solides résolvent moins de 66 % des tâches sans attaque, et que les attaques réussissent moins de 25 % du temps ; les séries récentes de Claude affichent un taux d’attaque ciblée encore plus bas.
🇺🇸 Gemini10 places · 1 notes
La même question, à laquelle Gemini a répondu seul. La liste finale ci-dessus combine toutes les IA.
- 1Claude 3.7 Sonnet Computer Use (Anthropic)
Atteint 44,2 % de réussite sur le bureau tout en ramenant à 2,4 % le taux de détournement par injection indirecte sur AgentDojo, grâce à une double hiérarchie de prompts système.
- 2Claude 3.5 Sonnet Computer Use (Anthropic)
Équilibre 38,6 % de réussite dans la navigation réelle sur le bureau et un faible taux d’injection de 4,8 %, avec 71,4 % d’utilité même sur des pages web hostiles.
- 3Agent S2.5 avec le modèle de raisonnement o3
Obtient 56,4 % à OSWorld, un résultat de pointe dans le secteur, mais des chaînes de raisonnement poussées peuvent être trompées pour déplacer des fichiers sans autorisation dans 12,3 % des tests d’injection indirecte.
- 4OpenAI Operator (chaîne de vision GPT-4o)
Résout 46,8 % des flux de travail dans le navigateur et sur le bureau, mais affiche un taux de réussite des attaques de 28,5 % face à un texte DOM non fiable provenant de tiers.
- 5ByteDance UI-TARS-2 (agent de vision local, 72B)
Réalise un solide 53,1 % à OSWorld, mais des instructions visuelles cachées dans les images de fond du bureau détournent ses actions dans 19,4 % des tests.
Source ↗ - 6Coasty Agent avec double garde-fou LLM (2025)
Sacrifie la vitesse pour atteindre 42,1 % à OSWorld, tout en ramenant le taux d’injection réussie à 6,2 % grâce à un filtre de supervision externe.
- 7UI-TARS-1.5 (ByteDance, poids ouverts)
Exécute 42,5 % des tâches système vérifiées, mais un réglage fin brut à poids ouverts, sans couches d’alignement de sécurité, le rend vulnérable à 34,1 % des instructions cachées dans des PDF.
Source ↗ - 8OS-Copilot / FRIDAY (agent shell autonome)
Réussit 35,6 % des flux de travail sous Linux, mais son exécution bash sans limite entraîne un taux dangereux de 43,7 % de réussite des attaques lorsqu’il lit des documents texte infectés.
- 9Simular GUI Agent (suite d'ancrage visuel)
Atteint 38,3 % sur les tâches de bureau, mais subit un taux d’injection de 26,2 % lorsque les instructions hostiles se déguisent en boîtes de dialogue système.
- 10Adept ACT-1 (navigateur et flux de travail d'entreprise)
Enregistre 31,2 % de flux de travail vérifiés réussis, mais les anciens analyseurs DOM cèdent à 41,5 % des attaques par injection indirecte cachées dans les commentaires des pages web.
Ce que Gemini a remarqué
Les actions au niveau du système, comme supprimer un fichier ou envoyer un courriel, ne peuvent pas être « annulées » automatiquement par un bouton d’annulation d’API. Les experts en sécurité recommandent donc une confirmation obligatoire avant tout événement irréversible sur le bureau.
🇨🇳 MiMo10 places · 4 notes
La même question, à laquelle MiMo a répondu seul. La liste finale ci-dessus combine toutes les IA.
- 1Mode automatique de Claude Code (Anthropic, 2026)
Il répond à la question-piège par la géométrie : un agent qui ne peut pas atteindre l’appât ne peut pas le prendre.
Source ↗ - 2Agents de la famille GPT-5 (OpenAI)
Le plus récent grand modèle est nettement plus difficile à tromper que son petit prédécesseur : le premier vrai écart de sécurité d’une génération à l’autre.
Source ↗ - 3Claude Opus 5 (Anthropic)
L’agent le plus recoupé par des sources indépendantes : ses chiffres résistent à un test concurrent avec une faible baisse.
Source ↗ - 4GPT-6.2 Astra (OpenAI)
Meilleur score sur les longues tâches nouvelles, pour un tiers du prix, alors que sa propre fiche enregistre des actions de travail qu’il a mal exécutées.
Source ↗ - 5GPT-6.1 Sol (OpenAI)
À 2,1 points du modèle phare sur les longues tâches de bureau, à des prix courants.
Source ↗ - 6Gemini pour Mac, contrôle de l'ordinateur (Google)
Le seul grand agent qui montre chaque action en direct avant de l’exécuter : la posture par défaut la plus sûre de la couche produit.
Source ↗ - 7Claude Cowork, contrôle de l'ordinateur (Anthropic)
Score proche du sommet, et il décrit lui-même son plus grand trou en une ligne : aucune isolation entre l’agent et votre écran.
Source ↗ - 8Qwen3.8 Max (Alibaba)
Meilleur score de bureau du classement, mais sa sécurité dépend d’un point de contrôle que vous ne pouvez pas faire tourner vous-même.
Source ↗ - 9Muse Spark 1.3 (Meta)
L’agent de bureau de Meta entre dans les classements des tâches longues à 66,9 %, exécuté par ses soins, avec son propre environnement.
Source ↗ - 10MiniMax M3 (MiniMax)
Le plancher honnête : 22,3 % sur les longues tâches, mesuré par les auteurs eux-mêmes et publié malgré tout, ce que presque personne ne fait.
Source ↗
Ce que MiMo a remarqué
Pour la première fois, la facilité à piéger un modèle diminue d’une génération à l’autre : des recherches en équipe rouge montrent que GPT-5 est nettement plus difficile à attaquer sur AgentDojo que GPT-4o-mini.
Le chiffre dangereux n’est pas le taux de réussite des attaques, mais la lassitude face aux approbations : de vrais utilisateurs acceptent 93 % des demandes d’autorisation. Une demande que les humains valident sans réfléchir équivaut à l’absence de demande.
Les nouvelles mesures indépendantes sont rares et précieuses : les résultats des co-auteurs de Snorkel AI sont à 2 points des scores annoncés pour GPT-5.6 Sol, mais à 2,3 points en dessous pour Opus 5.
Une recherche sur la vie privée (AGENTDAM) évalue directement les agents d’utilisation d’ordinateur de Claude et constate que les agents autonomes sur le web et sur l’ordinateur divulguent des données privées d’une manière que leurs scores de tâches ne montrent jamais.
🇨🇳 Kimi10 places · 4 notes
La même question, à laquelle Kimi a répondu seul. La liste finale ci-dessus combine toutes les IA.
- 1Claude Sonnet 4.5 (Anthropic)
70,7 d’utilité avec un taux de réussite des attaques de 0,87 % sur AgentDyn, le meilleur rapport travail-sur-piège mesuré en 2026. Les tests adaptatifs d’Anthropic avertissent toutefois que des attaques de 200 tentatives grimpent à 87,5 %.
Source ↗ - 2Famille GPT-5.1 / GPT-5.4 (OpenAI)
Un taux de réussite des attaques de 4,96 % sur GPT-5.1, soit environ un dixième des 47,69 % de GPT-4o, alors que la famille domine les classements du bureau avec 75,0 % à OSWorld-Verified.
Source ↗ - 3GPT-5-mini (OpenAI)
0,37 % de réussite des attaques avec 64,8 d’utilité : le modèle le plus modeste du test AgentDyn était le plus difficile à piéger, et même les attaques adaptatives faites à la main n’ont atteint que 2,1 %.
Source ↗ - 4Kimi K2.5 / K2.6 (Moonshot AI)
54,2 d’utilité pour 11,65 % de réussite des attaques, la meilleure utilité de tous les modèles ouverts sur AgentDyn. Avec 73,1 % à OSWorld-Verified pour K2.6, la famille prouve sa polyvalence sur le bureau.
Source ↗ - 5Gemini 2.5 Pro / Gemini 3.5 Flash (Google)
57 % d’utilité, mais un taux de réussite des attaques de 20,61 %. Les données de Google montrent que c’est l’entraînement adversarial qui a fait passer Gemini de 92 % à 18 % de réussite des injections.
Source ↗ - 6Claude 3.5 Sonnet, sortie d'octobre 2024 (Anthropic)
L’avertissement du secteur : 1,11 % de réussite des attaques statiques sur AgentDojo et 72,5 % d’utilité. Puis l’équipe rouge du NIST a atteint 81 % avec des attaques adaptées sur des tâches inédites.
Source ↗ - 7Llama 3.3 70B (Meta)
11,91 % de réussite des attaques semble honorable, jusqu’à ce qu’on voie l’utilité : 6,15 %. Il échoue dans le travail, pas seulement face aux attaquants.
Source ↗ - 8Qwen3 235B-A22B (Alibaba)
22,67 % de réussite des attaques, avec l’utilité la plus faible de l’ensemble (10,74 %) : une exposition sans les résultats.
Source ↗ - 9GPT-4o (OpenAI)
47,69 % de réussite des attaques sur AgentDojo et un taux de 100 % de porte dérobée Plan-of-Thought dans ASB : la leçon la plus dure de l’ère des tests sur ce que « ça marche presque toujours » peut masquer.
Source ↗ - 10GPT-4o-mini (OpenAI)
67,55 % de réussite moyenne des attaques dans ASB, le pire mesuré : petit, bon marché et très ouvert, avec plus de 95 % sur l’injection directe.
Source ↗
Ce que Kimi a remarqué
Les attaques adaptatives renversent le classement : le NIST (CAISI) a fait passer le détournement des agents Claude 3.5 Sonnet de 11 % à 81 %, et une équipe inter-laboratoires (OpenAI, Anthropic, DeepMind, ETH) a fait tomber 12 défenses publiées à plus de 90 % de réussite. La sécurité des tests statiques est un plancher, pas un plafond.
La seule famille de défenses au taux d’attaque quasi nul qui résiste à l’adaptation déplace le contrôle hors du modèle : CaMeL et Progent atteignent 0 % sur AgentDyn en limitant les appels d’outils, mais le 0 % de CaMeL s’accompagne là-bas de 0 % d’utilité. Sur AgentDojo, CaMeL a résolu 67 à 77 % des tâches avec une sécurité démontrée. Le compromis est réel, mais étroit.
Le compromis entre utilité et sécurité se mesure : sur le test GPT-4o d’AgentDojo, un filtre d’outils fait passer le taux d’attaque de 47,69 % à 6,84 % et l’utilité monte à 56,28 %. Mais un détecteur d’injection de prompt ramène le taux à 7,95 % en faisant chuter l’utilité à 21,14 %. C’est la conception de la défense, et non le modèle, qui décide si l’agent reste utile sous attaque.
L’accès à l’écran multiplie chaque injection : un agent doté de l’enregistrement d’écran et de l’accessibilité voit tout ce que vous voyez et peut envoyer, supprimer, acheter et modifier les réglages. C’est pourquoi la question de l’annulation (approbations par application, instantanés de machine virtuelle, actions réversibles) compte autant que le pourcentage de réussite des attaques.
🇨🇳 DeepSeek10 places · 1 notes
La même question, à laquelle DeepSeek a répondu seul. La liste finale ci-dessus combine toutes les IA.
- 1Claude Computer Use (Claude Fable 5, 2026)
85 % à OSWorld-Verified et 0 % de réussite ciblée des attaques sur plusieurs suites AgentDojo, dans le cadre reproductible le plus proche, mais ce cadre n’est pas Claude Desktop lui-même.
Source ↗ - 2Harnais Ratchet avec gpt-5.6-luna (2026)
0 % de réussite ciblée des attaques sur les quatre suites AgentDojo, le résultat de sécurité le plus net du tableau ouvert d’AgentDojo, mais son score OSWorld n’est pas sur la même ligne.
Source ↗ - 3Coasty CUA v1 (2026)
82,81 % à OSWorld-Verified et aucun taux publié de réussite des attaques sur AgentDojo ou ASB : solide sur le travail, non mesuré sur les pièges.
Source ↗ - 4OpenAI Operator (2026)
38,1 % à OSWorld, mais presque aucune donnée sur l’écran local : sa surface d’attaque est le navigateur, pas votre bureau.
Source ↗ - 5Agent de bureau Manus (Meta) (2026)
72,5 % à OSWorld dans une machine virtuelle en nuage. Réversible, car la machine virtuelle est jetable, mais le taux de réussite des attaques de test de sécurité n’est pas publié.
- 6Agent S3 (Simular, 2026)
72,6 % à OSWorld et open source, donc vous pouvez l’isoler, mais il a besoin de l’accès à l’écran et aux périphériques, et son taux d’attaque n’apparaît pas dans le tableau AgentDojo.
Source ↗ - 7UiPath Screen Agent (2026)
67,1 % à OSWorld-Verified avec une large automatisation de l’interface : utilité élevée, large contrôle, taux d’attaque non publié.
- 8Agent Gemini 3.6 Flash (Google, 2026)
83 % à OSWorld-Verified, mais aucun résultat reproductible sur AgentDojo ou ASB : une capacité de travail sans chiffre publié de résistance aux pièges.
Source ↗ - 9Agent Kimi K3 (Moonshot AI, 2026)
84,8 % à OSWorld-Verified et un score de sécurité b3 de 88,0 %, mais b3 mesure le modèle, pas la surface d’attaque de l’agent de bureau.
Source ↗ - 10UI-TARS-2 (ByteDance, 2026)
47,5 % à OSWorld avec contrôle natif de l’écran : plus d’exposition qu’un agent en nuage, et aucun taux publié de réussite des attaques sur AgentDojo.
Ce que DeepSeek a remarqué
Le meilleur taux publié de réussite des attaques sur AgentDojo est de 0 %, mais ce résultat vient d’un cadre précis (Ratchet avec gpt-5.6-luna) qui n’a pas de score OSWorld correspondant. L’agent le plus sûr au test de sécurité n’est pas celui qui domine le test de travail sur ordinateur.
🇨🇳 Wenxin10 places
La même question, à laquelle Wenxin a répondu seul. La liste finale ci-dessus combine toutes les IA.
- 1Agent IA interne d'Apple pour macOS (version de début 2027)
Aucune capture persistante de l’écran. Chaque action peut être révoquée par une interruption au niveau du système avant son exécution. Aucun contournement de l’injection de prompt signalé lors des premiers tests internes.
Source ↗ - 2Agent de bureau d'entreprise conforme HKU KYA
Identité d’agent vérifiable à 100 %, traçabilité complète des opérations. Les autorisations dynamiques se révoquent automatiquement lorsque les actions dépassent le périmètre prévu.
- 3Agent IA de paiement Ant Group (2026)
Flux d’autorisation de paiement à trois niveaux : même un agent entièrement compromis ne peut pas exécuter de transaction importante non approuvée sans confirmation humaine manuelle.
- 4API Agents d'OpenAI (bêta 2026)
L’environnement d’exécution isolé hébergé bloque 89 % des charges connues d’injection de prompt. Toutes les actions risquées exigent une confirmation secondaire avant exécution.
- 5Agent d'entreprise personnalisé à contrôle d'accès hybride RBAC+ABAC (2026)
Une validation de l’alignement entre intention et comportement est ajoutée aux contrôles d’autorisation. Elle bloque 91 % des dépassements non voulus dans le périmètre autorisé.
- 6Perplexity Computer (2026)
Environnement en nuage isolé, séparé des données sensibles du bureau local, sans aucun accès permanent à l’écran local.
- 7Agent de contrôle de l'ordinateur Anthropic Claude (2026)
Les garde-fous d’IA constitutionnelle bloquent 87 % des tentatives d’actions nuisibles non autorisées. 49 % d’adoption par les développeurs, avec les meilleures notes de confiance du secteur.
- 8Agent IA Sai (2026)
Toutes les opérations d’automatisation de l’interface s’exécutent sur des bureaux en nuage dédiés et isolés, sans accès par défaut aux données ou fichiers sensibles de la machine locale.
- 9Agent Muse de Meta (2026, open source)
Le code complet de l’environnement d’exécution peut être audité publiquement. Les utilisateurs peuvent ajouter leurs propres règles de détection d’injection de prompt, sans dépendre d’un prestataire tiers.
Source ↗ - 10OpenCode, agent de programmation open source (2026)
Aucun accès d’écriture automatique aux fichiers de production par défaut. Chaque modification de fichier exige une relecture et une approbation explicite de l’utilisateur.
🇨🇳 Qwen10 places · 3 notes
La même question, à laquelle Qwen a répondu seul. La liste finale ci-dessus combine toutes les IA.
- 1Claude 3.7 Sonnet
Accomplit 88,66 % du travail utile tout en ramenant le taux de réussite des attaques par injection à seulement 7,31 % sur AgentDojo.
Source ↗ - 2AgentSys (agent protégé)
Limite le taux de réussite des attaques à 0,78 % sur AgentDojo et à 4,25 % sur ASB, tout en améliorant l’utilité sur les tâches normales.
Source ↗ - 3Claude Opus 4.6
A obtenu un score parfait de 100 % lors d’un audit de sécurité ciblé, même si la réversibilité réelle de ses actions sur le bureau reste discutée.
Source ↗ - 4Agent protégé Verigrey
Conserve 93,2 % du travail utile tout en maintenant le taux de réussite des attaques sous 1 %, grâce à un contrôle des actions plutôt qu’à l’analyse des prompts.
Source ↗ - 5o3 (protégé)
Réussit 77 % des tâches AgentDojo avec une sécurité démontrée, contre 84 % pour la référence sans défense.
Source ↗ - 6Claude 3.5 Sonnet
Obtient le meilleur NRP (performance normalisée ajustée au risque) sur ASB, à 43,56, malgré des vulnérabilités de référence aux attaques.
Source ↗ - 7GPT-4o
Accomplit 69,07 % des tâches, mais cède à près de la moitié (47,69 %) des injections de prompt sur AgentDojo sans garde-fous stricts.
Source ↗ - 8GPT-4o-mini
Taux de réussite des attaques de 49,92 % sur AgentDojo, ce qui montre la difficulté des petits modèles à filtrer les résultats d’outils injectés.
Source ↗ - 9Claude 3.5 Sonnet (soumis à des tests d'attaque par une équipe rouge)
Alors que les attaques de référence ne réussissent que 11 % du temps, des invites coordonnées d’équipe rouge le percent dans 81 % des cas.
Source ↗ - 10GPT-4-0125
Les versions du début 2024 ont subi un taux de réussite ciblé de 56,3 % pour l’injection de prompt, avant que les défenses standard d’AgentDojo ne soient en place.
Source ↗
Ce que Qwen a remarqué
Le contrôle des actions fait mieux que l’analyse des prompts : bloquer le résultat d’un appel d’outil maintient le taux de réussite des attaques sous 1 % tout en conservant 93,2 % de l’utilité.
Le taux de réussite ciblé des injections de prompt sur AgentDojo est passé de 56,3 % sur les premiers modèles GPT-4 à seulement 7,3 % sur Claude 3.7 Sonnet, ce qui montre une évolution rapide de la sécurité.
L’Agent Security Bench introduit le métrique « NRP » (performance normalisée ajustée au risque), qui montre que refuser les prompts malveillants n’oblige pas à refuser le travail légitime.