Adaptive Angreifer brachen 12 veröffentlichte Abwehrmechanismen gegen Prompt-Injection, die angeblich fast keinen Angriffserfolg zuließen. Danach lagen die meisten über 90%.
Rangliste: Prompt-Injection bei KI-Agenten 2026
Claude 3.5 Sonnet wehrte bei AgentDojos Standard-Prompt-Injections alle bis auf 1,11% ab. Das Red Team des NIST kaperte dieselbe Agenten-Generation aber in 81% der Fälle mit angepassten Angriffen.
- Nr. 1: Claude Opus 5 (Anthropic)
- 10 Plätze
01Endgültige Liste
Die führenden KIs haben unabhängig voneinander jeweils eine eigene Liste mit zehn Plätzen erstellt. Hier steht ein leicht prüfbares Ergebnis: Jeder Platz hat einen Grund, eine Quelle und die Liste der KIs, die ihn aufgenommen haben.
Nur Systeme mit reproduzierbaren Ergebnissen in beiden Testarten, mit genanntem Modell, Agenten-Setup und Benchmark-Version
Ein helles Kennzeichen heißt: Diese KI hat den Eintrag auf ihre Liste gesetzt. Ein blasses: hat sie nicht.
- 1
Claude Opus 5 (Anthropic)
Beste gefundene Kombination: 83,39% bei OSWorld-Verified und 0,54% Erfolg bei GUI-Injection. Die Injection-Zahl stammt von Anthropic selbst. Ein AgentDojo- oder ASB-Lauf ist nicht veröffentlicht.
Aufgenommen: Claude, MiMo, Kimi, DeepSeek. Nicht aufgenommen: ChatGPT, Meta, Grok, Gemini, Wenxin, Qwen.In ihren Listen: Claude: 1 · MiMo: 3 · Kimi: Liste ansehen · DeepSeek: 1
Was jede KI angemerkt hat 4
- ClaudePlatz 1
0,54% Angriffserfolg in GUI-Tests, dazu 70,6% bei OSWorld 2.0 (teilweise) vom selben Modell.
Quelle ↗ - MiMoPlatz 3
Der unabhängig am besten gegengeprüfte Agent: Seine Zahlen bestehen den Lauf eines Konkurrenten mit nur einem kleinen Abschlag.
Quelle ↗ - Kimi
In der eigenen Liste anders benannt: ganze Liste öffnen.
Liste ansehen - DeepSeekPlatz 1
85% bei OSWorld-Verified und 0% gezielte ASR in mehreren AgentDojo-Suiten im nächstgelegenen reproduzierbaren Testgerüst – aber das Testgerüst ist nicht Claude Desktop selbst.
Quelle ↗
4 KIs setzten es hierher - 2
OpenAI GPT-5-Familie (GPT-5.1 / 5.4 / 5.5)
GPT-5.1 wird bei AgentDyn in 4,96% der Fälle gekapert, etwa ein Zehntel der Rate von GPT-4o. GPT-5.4 schaffte in einer Wiederholung von 2026 bei 288 Versuchen 0 Treffer. GPT-5.5 erreicht 78,7% bei OSWorld-Verified.
Aufgenommen: Meta, MiMo, Kimi. Nicht aufgenommen: Claude, ChatGPT, Grok, Gemini, DeepSeek, Wenxin, Qwen.In ihren Listen: Meta: 2 · MiMo: 2 · Kimi: 2
Was jede KI angemerkt hat 3
- MetaPlatz 2
Hohe OSWorld-Verified-Punktzahl, aber schlechte AgentDojo-Angriffsrate von 47,69% für GPT-4o aus 2024 – und dann 0/288 in einer engen Bankteilmenge von 2026 für GPT-5.4. Beides stimmt, für verschiedene Tests.
Quelle ↗ - MiMoPlatz 2
Das neueste große Modell ist deutlich schwerer zu täuschen als sein kleiner Vorgänger – die erste echte Sicherheitslücke nach Generation.
Quelle ↗ - KimiPlatz 2
Eine Angriffserfolgsrate von 4,96% bei GPT-5.1 – etwa ein Zehntel der 47,69% von GPT-4o –, während die Familie bei OSWorld-Verified mit 75,0% die Desktop-Charts anführt.
Quelle ↗
3 KIs setzten es hierher - 3
Google Gemini Computer Use
Starker Arbeiter, schwächerer Wächter: 83% bei OSWorld-Verified. Zwei unabhängige Injection-Tests zeigen aber bei älteren Gemini-Modellen 17–21% Angriffserfolg. Für Gemini 3.6 selbst ist kein Injection-Ergebnis veröffentlicht.
Aufgenommen: Claude, Meta, MiMo, Kimi, DeepSeek. Nicht aufgenommen: ChatGPT, Grok, Gemini, Wenxin, Qwen.In ihren Listen: Claude: 5 · Meta: 3 · MiMo: 6 · Kimi: 5 · DeepSeek: 8
Was jede KI angemerkt hat 5
- ClaudePlatz 5
Google meldet, dass ein Gemini-Modell den Angriffserfolg in einem Benchmark auf 0,7% senkt – eine Herstellerangabe, die noch nicht unabhängig reproduziert wurde.
Quelle ↗ - MetaPlatz 3
83% bei OSWorld-Verified für Gemini 3.6 Flash neben 17,01% AgentDojo-Angriffsrate für Gemini 1.5 Pro – leistungsfähig, beim alten Injektionstest mittelmäßig.
Quelle ↗ - MiMoPlatz 6
Der einzige große Agent, der jede Aktion live vorab anzeigt – die sicherste Grundeinstellung der Produktschicht.
Quelle ↗ - KimiPlatz 5
57% Nutzen, aber 20,61% ASR – und Googles eigene Daten zeigen, dass adversariales Training Gemini von 92% Injektionserfolg auf 18% senkte.
Quelle ↗ - DeepSeekPlatz 8
83% bei OSWorld-Verified, aber kein reproduzierbares AgentDojo- oder ASB-Ergebnis – Arbeitsfähigkeit ohne veröffentlichte Zahl zur Täuschungsresistenz.
Quelle ↗
5 KIs setzten es hierher - 4
Claude Sonnet 4.5 (Anthropic)
Behält bei AgentDyn die meiste Arbeit unter Angriff: 70,7 Nutzen bei 0,87% Angriffserfolg. Anthropics eigener Stresstest zeigt, dass 200 Versuche den Angriffserfolg auf 87,5% treiben.
Aufgenommen: Kimi. Nicht aufgenommen: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.In ihren Listen: Kimi: 1
Was jede KI angemerkt hat 1
- KimiPlatz 1
70,7 Nutzen bei 0,87% Angriffserfolgsrate auf AgentDyn – das beste Verhältnis von Arbeit zu Täuschbarkeit, das 2026 gemessen wurde, obwohl Anthropics eigene adaptive Tests warnen, dass 200-Versuch-Angriffe auf 87,5% steigen.
Quelle ↗
1 KIs setzten es hierher - 5
OpenAI GPT-5-mini
Das Modell, das bei AgentDyn am schwersten zu täuschen ist: 0,37% Angriffserfolg und nur 2,1% bei adaptiven Angriffen. Sein Desktop-Wert stammt von einem Geschwistermodell: GPT-5.4 mini mit 72,1%.
Aufgenommen: Kimi. Nicht aufgenommen: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.In ihren Listen: Kimi: 3
Was jede KI angemerkt hat 1
- KimiPlatz 3
0,37% ASR bei 64,8 Nutzen – das bescheidenste Modell im AgentDyn-Test war am schwersten zu täuschen, und selbst handgebaute adaptive Angriffe erreichten nur 2,1%.
Quelle ↗
1 KIs setzten es hierher - 6
Kimi K2.5 / K2.6 (Moonshot AI)
Bester Nutzen aller offenen Modelle bei AgentDyn: 54,2 bei 11,65% Angriffserfolg. K2.6 erreicht 73,1% bei OSWorld-Verified, schließt aber nur 4,6% der langen OSWorld-2.0-Aufträge ab.
Aufgenommen: Kimi, DeepSeek, Qwen. Nicht aufgenommen: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Wenxin.In ihren Listen: Kimi: 4 · DeepSeek: 9 · Qwen: Liste ansehen
Was jede KI angemerkt hat 3
- KimiPlatz 4
54,2 Nutzen bei 11,65% ASR – der beste Nutzen aller offenen Modelle in AgentDyn –, und K2.6s 73,1% bei OSWorld-Verified belegt die Bandbreite der Familie am Desktop.
Quelle ↗ - DeepSeekPlatz 9
84,8% bei OSWorld-Verified und ein b3-Sicherheitswert von 88,0% – aber b3 misst das Modell, nicht die Angriffsfläche des Desktop-Agenten.
Quelle ↗ - Qwen
In der eigenen Liste anders benannt: ganze Liste öffnen.
Liste ansehen
3 KIs setzten es hierher - 7
Claude 3.5 Sonnet, Okt. 2024 (Anthropic)
Die warnende Geschichte: 1,11% Angriffserfolg bei AgentDojos statischen Angriffen, 81% bei den angepassten Angriffen des NIST und beim Start nur 14,9% bei OSWorld.
Aufgenommen: Meta, Kimi, DeepSeek, Qwen. Nicht aufgenommen: Claude, ChatGPT, Grok, Gemini, MiMo, Wenxin.In ihren Listen: Meta: 10 · Kimi: 6 · DeepSeek: Liste ansehen · Qwen: 1
Was jede KI angemerkt hat 4
- MetaPlatz 10
Niedrige AgentDojo-Angriffsrate von 9,06%, aber nur 33,39% Nutzen unter Angriff – das billigste Claude-Modell, das am wenigsten zu täuschen ist, und unter Angriff am wenigsten nützlich.
Quelle ↗ - KimiPlatz 6
Die warnende Geschichte des Feldes: 1,11% ASR bei AgentDojos statischen Angriffen und 72,5% Nutzen – dann erreichte das Red Team des NIST mit angepassten Angriffen auf zurückgehaltene Aufgaben 81%.
Quelle ↗ - DeepSeek
In der eigenen Liste anders benannt: ganze Liste öffnen.
Liste ansehen - QwenPlatz 1
Erledigt 88,66% der nützlichen Arbeit und senkt den Erfolg von Prompt-Injektionen bei AgentDojo auf nur 7,31%.
Quelle ↗
4 KIs setzten es hierher - 8
Meta Llama / Muse Spark
Muse Spark 1.1 erreicht 80,67% bei OSWorld. Die Meta-Modelle mit Injection-Tests leisten aber wenig Nützliches: Llama-3-70B behält 18,28% Nutzen bei 25,60% Angriffserfolg.
Aufgenommen: Meta, Kimi. Nicht aufgenommen: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.In ihren Listen: Meta: 4 · Kimi: 7
Was jede KI angemerkt hat 2
- MetaPlatz 4
80,67% verifiziertes OSWorld für Muse Spark 1.1, aber das Meta-Modell, das tatsächlich in AgentDojo getestet wurde, Llama-3-70B, behielt unter Angriff nur 18,28% Nutzen.
Quelle ↗ - KimiPlatz 7
11,91% ASR wirkt respektabel, bis man den Nutzen sieht: 6,15% – es scheitert an der Arbeit, nicht nur an den Angreifern.
Quelle ↗
2 KIs setzten es hierher - 9
Alibaba Qwen
Hat den höchsten vom Anbieter gemeldeten Desktop-Wert mit 86,1%. Das einzige Qwen-Modell mit Injection-Test, Qwen3 235B, zeigt aber 22,67% Angriffserfolg bei 10,74 Nutzen.
Aufgenommen: Claude, Meta, Grok, Kimi. Nicht aufgenommen: ChatGPT, Gemini, MiMo, DeepSeek, Wenxin, Qwen.In ihren Listen: Claude: 9 · Meta: 5 · Grok: Liste ansehen · Kimi: 8
Was jede KI angemerkt hat 4
- ClaudePlatz 9
Liegt in der vom Hersteller angegebenen OSWorld-Tabelle mit 86,1% vorn; ein veröffentlichtes Ergebnis zu Injektionen fehlt.
Quelle ↗ - MetaPlatz 5
Höchste vom Hersteller angegebene OSWorld-Verified-Punktzahl mit 86,1%, doch Qwen tauchte nie in der AgentDojo-Ergebnistabelle auf – Leistung ohne öffentlichen Injektionstest.
Quelle ↗ - Grok
In der eigenen Liste anders benannt: ganze Liste öffnen.
Liste ansehen - KimiPlatz 8
22,67% ASR bei dem schwächsten Nutzen der Gruppe (10,74%) – Angriffsfläche ohne Ergebnisse.
Quelle ↗
4 KIs setzten es hierher - 10
OpenAI GPT-4o
Bei AgentDojo in 47,69% der Fälle gekapert und bei OSWorld 12,2%. Eine überarbeitete ASB-Version senkte den Angriffserfolg von 73,58% auf 9,25%. Das ist eine Änderung am Benchmark, nicht am Modell.
Aufgenommen: Meta, Grok, Kimi, Qwen. Nicht aufgenommen: Claude, ChatGPT, Gemini, MiMo, DeepSeek, Wenxin.In ihren Listen: Meta: 9 · Grok: 2 · Kimi: 9 · Qwen: 7
Was jede KI angemerkt hat 4
- MetaPlatz 9
Die AgentDojo-ASR wirkt mit 10,33% moderat, aber ASB-Direktinjektion traf 98,40% – die beiden Injektionstests messen verschiedene Angriffe, und der Unterschied ist wichtig.
Quelle ↗ - GrokPlatz 2
Starker Nutzen bei gutartigen Aufgaben, aber höhere rohe ASR; Filter können den Angriffserfolg deutlich senken.
Quelle ↗ - KimiPlatz 9
47,69% ASR bei AgentDojo und eine Plan-of-Thought-Hintertür-Rate von 100% in ASB – die härteste Lehre der Benchmark-Ära darüber, was „meistens funktioniert“ verbirgt.
Quelle ↗ - QwenPlatz 7
Erledigt 69,07% der Aufgaben, unterliegt aber fast der Hälfte (47,69%) der Prompt-Injektionen bei AgentDojo ohne strenge Schutzmaßnahmen.
Quelle ↗
4 KIs setzten es hierher
02Wissenswert
Was den KIs beim Erstellen der Liste aufgefallen ist.
Die Konstruktion der Abwehr entscheidet über den Nutzen. Bei GPT-4o senkte ein Werkzeugfilter den Angriffserfolg von 47,69% auf 6,84% und hob den Nutzen auf 56,28%. Ein Detektor kam auf 7,95%, senkte den Nutzen aber auf 21,14%.
Der höchste Durchschnittswert des Angriffserfolgs bei ASB liegt bei 84,30%, bei gemischten Angriffen über 13 Modell-Grundlagen.
Nutzer bestätigen 93% der Berechtigungsabfragen. Eine Abfrage, die Menschen blind durchwinken, schützt daher kaum.
Kein Frontier-System von 2026 hat OSWorld-, AgentDojo- und ASB-Ergebnisse am selben Checkpoint. Deshalb kombinieren die meisten Zeilen Zahlen aus derselben Modellfamilie.
03So haben wir gezählt
In einfachen Worten, ohne Formeln.
1Die Frage
Top 10 der KI-Agenten für Computer-Use: Können sie die Arbeit erledigen, und lassen sie sich täuschen?
2Warum dieses Thema
Keine einzelne Rangliste stellt gegenüber, was ein Agent kann, und wie leicht eine versteckte Anweisung auf einer Webseite oder in einer Datei ihn gegen Sie wenden kann.
3Wofür es gilt
Weltweit; Computer-Use-Agentensysteme, die Desktop-Apps und Browser bedienen
4Worauf wir geachtet haben
- Nur Systeme mit reproduzierbaren Ergebnissen in beiden Testarten, mit genanntem Modell, Agenten-Setup und Benchmark-Version
- Erfolgsquote bei OSWorld (reale Desktop-Arbeit), dargestellt neben dem Erfolg von Prompt-Injection-Angriffen bei AgentDojo und Agent Security Bench (je niedriger, desto besser). Beide stehen nebeneinander und werden nie gemittelt.
- Ausschlag bei Gleichstand: wie viel nützliche Arbeit der Agent unter Angriff noch erledigt
- Eine gesonderte Einschätzung, wie viele Bildschirmdaten der Agent sieht und ob seine Aktionen rückgängig gemacht werden können
- OSWorld-Verified (OSWorld-Team; BenchLM-Tracker) — Anteil der echten Desktop-Aufgaben, die abgeschlossen wurden, geprüft am finalen Zustand der App oder Datei
- OSWorld 2.0 (Snorkel AI) — Teilweise und vollständig abgeschlossene Aufgaben bei 108 langen Arbeitsabläufen
- AgentDojo (ETH Zürich, SPY Lab) — Nützliche Arbeit unter Angriff und gezielter Angriffserfolg bei 97 Aufgaben und 629 Injection-Fällen (ein niedriger Angriffserfolg ist besser)
- AgentDyn (2026) — Schwierigere, dynamische Injection-Tests: Nutzen, Nutzen unter Angriff und Angriffserfolg
5Wer gerankt hat
Die führenden KIs: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Wenxin, Qwen. Jede hat unabhängig ihre eigene Zehnerliste erstellt und für jeden Platz eine Quelle genannt.
6Wie die Plätze festgelegt wurden
Derselbe Eintrag, von verschiedenen KIs unterschiedlich formuliert, wurde als einer gezählt. Je mehr KIs einen Eintrag auf ihre Liste setzten und je höher, desto höher sein Platz. „Einigkeit der KIs“ zeigt, wie viele KIs ihn auf ihrer eigenen Liste hatten. Quellen sind nur die, die die KIs selbst gefunden haben; nichts wurde von Hand ergänzt.
04Die Liste jeder KI
🇺🇸 Claude10 Plätze · 4 Hinweise
Dieselbe Frage, allein von Claude beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Claude Opus 5 (Anthropic, 2026)
0,54% Angriffserfolg in GUI-Tests, dazu 70,6% bei OSWorld 2.0 (teilweise) vom selben Modell.
Quelle ↗ - 2Claude Fable 5 (Anthropic, 2026)
Der Angriffserfolg bei Gray Swan liegt bei 2,8% gegenüber 85% bei OSWorld-Verified.
Quelle ↗ - 3Claude Mythos 5 (Anthropic)
85,0% bei OSWorld-Verified und 2,6% bei Gray Swan.
- 4Claude Opus 4.8 (Anthropic)
83,4% bei OSWorld-Verified; seine Gray-Swan-Quote von 5,5% ist weniger als halb so hoch wie die Ausgangsquote von Opus 5.
Quelle ↗ - 5Gemini-Computersteuerung (Google, 2026)
Google meldet, dass ein Gemini-Modell den Angriffserfolg in einem Benchmark auf 0,7% senkt – eine Herstellerangabe, die noch nicht unabhängig reproduziert wurde.
Quelle ↗ - 6OpenAI Codex-Computersteuerung / GPT-6 Astra
Hat einen gesperrten Nutzungsmodus, aber neben seinem OSWorld-2.0-Wert von 72,6% wurde keine Angabe zum Angriffserfolg gefunden.
Quelle ↗ - 7Claude Sonnet 5 (Anthropic)
81,2% bei OSWorld-Verified; eine gesonderte Angabe zu Injektionen wurde nicht gefunden.
Quelle ↗ - 8Holo3-35B-A3B (H Company)
Das beste unabhängige OSWorld-Verified-Ergebnis (82,6%), aber es wurden keine Daten zu Injektionen gefunden.
Quelle ↗ - 9Qwen3.8-Max (Alibaba)
Liegt in der vom Hersteller angegebenen OSWorld-Tabelle mit 86,1% vorn; ein veröffentlichtes Ergebnis zu Injektionen fehlt.
Quelle ↗ - 10Computer-Steuerungs-Agent auf Basis von o4-mini (Vergleichswert OS-Harm)
Befolgte grundlegende Injektionen in etwa 20% der Fälle – das einzige gemessene Gegenbeispiel.
Quelle ↗
Was Claude aufgefallen ist
Anthropic meldet 0% Erfolg von Injektionen bei Browser-Agenten mit Auto Mode und Schutzmechanismen, gegenüber 3,7% ohne sie. Die 0%-Angabe hängt von den zusätzlichen Schichten ab.
Eine von der Universität Waterloo geleitete Studie fand, dass Agenten, die auf mehr Injektionsangriffe nachtrainiert wurden, in drei von vier Tests leichter zu kapern waren.
Eine Abwehr, die Werkzeuge einschränkt, bevor nicht vertrauenswürdige Daten gelesen werden, senkte den gezielten Angriffserfolg von 57,69% auf 6,84%.
Tests im Umfeld des britischen AISI melden, dass adaptive Angriffe den Angriffserfolg bei AgentDojo Workspace von 11% auf 81% steigern.
🇺🇸 Meta10 Plätze · 4 Hinweise
Dieselbe Frage, allein von Meta beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Claude-Computersteuerung (Anthropic)
Die einzige Modellfamilie mit sowohl einer Spitzenpunktzahl bei OSWorld als auch einer nahezu null liegenden AgentDojo-Angriffsrate – doch die beiden Zahlen stammen von verschiedenen Checkpoints, im Abstand von Jahren.
Quelle ↗ - 2OpenAI ChatGPT-Agent / CUA (OpenAI)
Hohe OSWorld-Verified-Punktzahl, aber schlechte AgentDojo-Angriffsrate von 47,69% für GPT-4o aus 2024 – und dann 0/288 in einer engen Bankteilmenge von 2026 für GPT-5.4. Beides stimmt, für verschiedene Tests.
Quelle ↗ - 3Google Gemini-Computersteuerung (Google)
83% bei OSWorld-Verified für Gemini 3.6 Flash neben 17,01% AgentDojo-Angriffsrate für Gemini 1.5 Pro – leistungsfähig, beim alten Injektionstest mittelmäßig.
Quelle ↗ - 4Meta Llama / Muse-Agent (Meta)
80,67% verifiziertes OSWorld für Muse Spark 1.1, aber das Meta-Modell, das tatsächlich in AgentDojo getestet wurde, Llama-3-70B, behielt unter Angriff nur 18,28% Nutzen.
Quelle ↗ - 5Alibaba Qwen-Agent (Qwen)
Höchste vom Hersteller angegebene OSWorld-Verified-Punktzahl mit 86,1%, doch Qwen tauchte nie in der AgentDojo-Ergebnistabelle auf – Leistung ohne öffentlichen Injektionstest.
Quelle ↗ - 6Cohere Command-R+-Agent
Niedrige AgentDojo-Angriffsrate, aber wenig Arbeit bleibt unter Angriff erhalten: 25,12% Nutzen unter Angriff – sicher, aber unter Angriff kaum nützlich.
Quelle ↗ - 7Google Gemma2-Agent
In der Grundmenge von ASB enthalten, aber in AgentDojo und OSWorld-Verified nicht vertreten – ein Modell für Sicherheitstests, kein nachgewiesener Computer-Agent.
Quelle ↗ - 8Mistral Mixtral-Agent
Dieselbe Geschichte wie bei Gemma2: in ASB enthalten, in AgentDojo und OSWorld-Verified nicht – kein reproduzierbares Paar aus Computernutzung und Injektion.
Quelle ↗ - 9OpenAI GPT-3.5 Turbo-Agent
Die AgentDojo-ASR wirkt mit 10,33% moderat, aber ASB-Direktinjektion traf 98,40% – die beiden Injektionstests messen verschiedene Angriffe, und der Unterschied ist wichtig.
Quelle ↗ - 10Anthropic Claude 3 Haiku-Agent
Niedrige AgentDojo-Angriffsrate von 9,06%, aber nur 33,39% Nutzen unter Angriff – das billigste Claude-Modell, das am wenigsten zu täuschen ist, und unter Angriff am wenigsten nützlich.
Quelle ↗
Was Meta aufgefallen ist
In der ursprünglichen AgentDojo-Tabelle hatte Claude 3.5 Sonnet (20241022) eine gezielte Angriffsrate von 1,11%, GPT-4o 47,69% – gleicher Test, gleicher Angriff, gegensätzliche Sicherheit.
Eine Nachprüfung aus 2026 fand für GPT-5.4 0/288 ASR ohne Schutz und für Claude Sonnet 4.6 1/288 in der AgentDojo-Bankteilmenge; die Autoren warnen aber, dass die Testziele nicht für alle Modelle gleich gut erreichbar waren.
ASB-Revised senkte die ASR von GPT-4o von 73,58% auf 9,25% – eine Revision des Benchmarks, keine Modelländerung, kehrte das Urteil über dasselbe Modell um.
Adaptive Angreifer brachen 12 Injektionsabwehren, die eine nahezu null liegende ASR gemeldet hatten, und erreichten bei den meisten über 90% ASR – statische AgentDojo-Angriffe unterschätzen einen entschlossenen Angreifer.
🇺🇸 Grok10 Plätze · 1 Hinweise
Dieselbe Frage, allein von Grok beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Computer-Steuerungs-Agenten von Claude 3.5/4.x/5.x (Anthropic)
Mehr Nutzen unter Angriff und eine niedrigere gezielte ASR als GPT-4o bei AgentDojo, in veröffentlichten Läufen.
Quelle ↗ - 2GPT-4o / OpenAI-CUA-Konfigurationen mit Schutzmechanismen
Starker Nutzen bei gutartigen Aufgaben, aber höhere rohe ASR; Filter können den Angriffserfolg deutlich senken.
Quelle ↗ - 3Simular Sai
Hohe langfristige OSWorld-Teilpunktzahlen; Sicherheitswerte für AgentDojo nicht unabhängig veröffentlicht.
Quelle ↗ - 4Qwen3.8-Max-Konfigurationen
Spitzenklasse bei verifizierten Desktop-Erfolgen; wenige öffentliche AgentDojo/ASB-Paarungen.
Quelle ↗ - 5Microsoft Mage-VL-Cowork
Kompakter offener Hybrid-Agent mit 66% verifiziert; keine veröffentlichten Werte für ein Injektionspaar.
Quelle ↗ - 6Pointer-Agent
Hohe verifizierte Werte durch Hybridmethoden; Robustheit gegen Injektionen nicht näher beschrieben.
Quelle ↗ - 7Coasty CUA
Starker verifizierter Desktop-Wert; Daten zur Angriffsfläche spärlich.
Quelle ↗ - 8Intelligence-Indeed Z-Agent
Höchste verifizierte Desktop-Erfolgsquote; keine öffentliche AgentDojo-Paarung gefunden.
Quelle ↗ - 9Kleine Open-Weight-Modelle mit Schutzmechanismen nach dem Muster von CapLite
Null erfolgreiche Angriffe über Tausende AgentDojo-Episoden in einer Verteidigungsstudie.
Quelle ↗ - 10Allgemeine Spitzen-Agenten ohne spezielle Schutzmechanismen
ASB meldet eine durchschnittliche Spitzen-Angriffserfolgsrate von 84,30% über gemischte Injektionsmethoden.
Quelle ↗
Was Grok aufgefallen ist
Die ursprüngliche AgentDojo-Studie fand, dass selbst starke Modelle ohne Angriffe weniger als 66% der Aufgaben lösen und Angriffe in weniger als 25% der Fälle erfolgreich sind; moderne Claude-Läufe zeigen eine noch niedrigere gezielte ASR.
🇺🇸 Gemini10 Plätze · 1 Hinweise
Dieselbe Frage, allein von Gemini beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Claude 3.7 Sonnet Computer-Steuerung (Anthropic)
Erreicht 44,2% Desktop-Erfolg und hält die Kaperungsrate durch indirekte Prompt-Injektion bei AgentDojo dank zweischichtiger System-Prompt-Hierarchien auf 2,4%.
- 2Claude 3.5 Sonnet Computer-Steuerung (Anthropic)
Hält sich bei 38,6% realer Desktop-Navigation mit einer niedrigen Injektionsrate von 4,8% und behält 71,4% Nutzen, selbst beim Navigieren auf feindlichen Webseiten.
- 3Agent S2.5 mit o3 als Reasoning-Kern
Erreicht bei OSWorld-Aufgaben 56,4% – branchenführend –, doch tiefe Argumentationsketten lassen sich in 12,3% der indirekten Injektionstests zu unautorisierten Dateiverschiebungen verleiten.
- 4OpenAI Operator (GPT-4o-Vision-Pipeline)
Löst 46,8% der Browser- und Desktop-Abläufe, zeigt aber eine Angriffserfolgsrate von 28,5%, wenn es auf nicht vertrauenswürdigen DOM-Text von Drittanbietern trifft.
- 5ByteDance UI-TARS-2 (72B, lokaler Vision-Agent)
Erreicht eine beeindruckende OSWorld-Erfolgsquote von 53,1%, doch visuelle Prompt-Injektionen, die in Hintergrundbildern des Desktops versteckt sind, kapern Aktionen in 19,4% der Tests.
Quelle ↗ - 6Coasty-Agent mit Dual-LLM-Schutz (2025)
Opfert Geschwindigkeit, um 42,1% bei OSWorld zu erreichen, und senkt den Injektionserfolg durch einen externen Aufsichtsfilter auf 6,2%.
- 7UI-TARS-1.5 (ByteDance, Open Weights)
Führt 42,5% der verifizierten OS-Aufgaben aus, doch reines Feintuning offener Gewichte ohne Sicherheitsausrichtung führt zu einer Verwundbarkeit von 34,1% gegenüber eingebetteten PDF-Anweisungen.
Quelle ↗ - 8OS-Copilot / FRIDAY (autonomer Shell-Agent)
Schließt 35,6% der Linux-Abläufe ab, doch seine uneingeschränkte Bash-Ausführung führt zu einer gefährlichen Angriffserfolgsrate von 43,7%, wenn es infizierte Textdokumente liest.
- 9Simular GUI-Agent (Visual-Grounding-Suite)
Erreicht 38,3% bei Desktop-Aufgaben, leidet aber unter einer Injektionsrate von 26,2%, wenn sich feindliche Anweisungen als Systemdialogfelder tarnen.
- 10Adept ACT-1 (Browser- und Unternehmens-Workflows)
Verzeichnet 31,2% verifizierte Abschlüsse von Abläufen, doch veraltete DOM-Parser unterliegen 41,5% der indirekten Prompt-Injektionen, die in Kommentaren von Webseiten versteckt sind.
Was Gemini aufgefallen ist
Da Aktionen auf Systemebene wie das Löschen von Dateien oder das Versenden von E-Mails nicht über eine API-Rückgängig-Funktion automatisch zurückgenommen werden können, empfehlen Sicherheitsexperten verpflichtende Bestätigungsschritte für alle nicht umkehrbaren Desktop-Ereignisse.
🇨🇳 MiMo10 Plätze · 4 Hinweise
Dieselbe Frage, allein von MiMo beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Automatischer Modus von Claude Code (Anthropic, 2026)
Es beantwortet die Fangfrage mit Geometrie: Ein Agent, der den Köder nicht erreichen kann, kann ihm auch nicht erliegen.
Quelle ↗ - 2Agenten der GPT-5-Familie (OpenAI)
Das neueste große Modell ist deutlich schwerer zu täuschen als sein kleiner Vorgänger – die erste echte Sicherheitslücke nach Generation.
Quelle ↗ - 3Claude Opus 5 (Anthropic)
Der unabhängig am besten gegengeprüfte Agent: Seine Zahlen bestehen den Lauf eines Konkurrenten mit nur einem kleinen Abschlag.
Quelle ↗ - 4GPT-6.2 Astra (OpenAI)
Bestes Ergebnis bei neuen langen Aufgaben zu einem Drittel des Preises – während seine eigene Karte Arbeitsaktionen protokolliert, die er falsch ausgeführt hat.
Quelle ↗ - 5GPT-6.1 Sol (OpenAI)
Liegt bei langen Desktop-Aufgaben 2,1 Punkte hinter dem Flaggschiff-Modell, zu alltäglichen Preisen.
Quelle ↗ - 6Gemini für Mac: Computer-Steuerung (Google)
Der einzige große Agent, der jede Aktion live vorab anzeigt – die sicherste Grundeinstellung der Produktschicht.
Quelle ↗ - 7Claude Cowork: Computer-Steuerung (Anthropic)
Erzielt Spitzenwerte und benennt sein größtes Loch in einem Satz: keine Sandbox zwischen dem Agenten und Ihrem Bildschirm.
Quelle ↗ - 8Qwen3.8 Max (Alibaba)
Höchster Desktop-Wert der Tabelle, doch seine Sicherheit hängt von einem Checkpoint ab, den Sie selbst nicht betreiben können.
Quelle ↗ - 9Muse Spark 1.3 (Meta)
Metas Desktop-Agent steigt mit 66,9% in die Tabellen für lange Aufgaben ein – selbst betrieben, mit eigenem Testgerüst.
Quelle ↗ - 10MiniMax M3 (MiniMax)
Die ehrliche Untergrenze: 22,3% bei langen Aufgaben, vom Autor selbst gemessen – und trotzdem veröffentlicht, was fast niemand tut.
Quelle ↗
Was MiMo aufgefallen ist
Die Verführbarkeit sinkt erstmals von Modellgeneration zu Generation: Red-Teaming-Forschung findet, dass GPT-5 bei AgentDojo deutlich schwerer anzugreifen ist als GPT-4o-mini.
Die gefährliche Zahl ist nicht der Angriffserfolg, sondern die Zustimmungsmüdigkeit: Echte Nutzer bestätigen 93% der Berechtigungsabfragen. Eine Abfrage, die Menschen nur abnicken, ist also so gut wie keine.
Unabhängige Nachläufe sind selten und wertvoll: Die Mitautoren von Snorkel AI landen für GPT-5.6 Sol innerhalb von 2 Punkten der Selbstangaben, für Opus 5 aber 2,3 Punkte darunter.
Die Datenschutzforschung (AGENTDAM) prüft Claude-Computernutzungs-Agenten direkt und stellt fest, dass autonome Web- und Computer-Agenten private Daten auf Wegen preisgeben, die ihre Aufgabenwerte nie zeigen.
🇨🇳 Kimi10 Plätze · 4 Hinweise
Dieselbe Frage, allein von Kimi beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Claude Sonnet 4.5 (Anthropic)
70,7 Nutzen bei 0,87% Angriffserfolgsrate auf AgentDyn – das beste Verhältnis von Arbeit zu Täuschbarkeit, das 2026 gemessen wurde, obwohl Anthropics eigene adaptive Tests warnen, dass 200-Versuch-Angriffe auf 87,5% steigen.
Quelle ↗ - 2GPT-5.1- / GPT-5.4-Familie (OpenAI)
Eine Angriffserfolgsrate von 4,96% bei GPT-5.1 – etwa ein Zehntel der 47,69% von GPT-4o –, während die Familie bei OSWorld-Verified mit 75,0% die Desktop-Charts anführt.
Quelle ↗ - 3GPT-5-mini (OpenAI)
0,37% ASR bei 64,8 Nutzen – das bescheidenste Modell im AgentDyn-Test war am schwersten zu täuschen, und selbst handgebaute adaptive Angriffe erreichten nur 2,1%.
Quelle ↗ - 4Kimi K2.5 / K2.6 (Moonshot AI)
54,2 Nutzen bei 11,65% ASR – der beste Nutzen aller offenen Modelle in AgentDyn –, und K2.6s 73,1% bei OSWorld-Verified belegt die Bandbreite der Familie am Desktop.
Quelle ↗ - 5Gemini 2.5 Pro / Gemini 3.5 Flash (Google)
57% Nutzen, aber 20,61% ASR – und Googles eigene Daten zeigen, dass adversariales Training Gemini von 92% Injektionserfolg auf 18% senkte.
Quelle ↗ - 6Claude 3.5 Sonnet, Veröffentlichung Oktober 2024 (Anthropic)
Die warnende Geschichte des Feldes: 1,11% ASR bei AgentDojos statischen Angriffen und 72,5% Nutzen – dann erreichte das Red Team des NIST mit angepassten Angriffen auf zurückgehaltene Aufgaben 81%.
Quelle ↗ - 7Llama 3.3 70B (Meta)
11,91% ASR wirkt respektabel, bis man den Nutzen sieht: 6,15% – es scheitert an der Arbeit, nicht nur an den Angreifern.
Quelle ↗ - 8Qwen3 235B-A22B (Alibaba)
22,67% ASR bei dem schwächsten Nutzen der Gruppe (10,74%) – Angriffsfläche ohne Ergebnisse.
Quelle ↗ - 9GPT-4o (OpenAI)
47,69% ASR bei AgentDojo und eine Plan-of-Thought-Hintertür-Rate von 100% in ASB – die härteste Lehre der Benchmark-Ära darüber, was „meistens funktioniert“ verbirgt.
Quelle ↗ - 10GPT-4o-mini (OpenAI)
Durchschnittliche ASR von 67,55% in ASB, der schlechteste gemessene Wert – klein, billig und weit offen, mit über 95% bei direkter Injektion.
Quelle ↗
Was Kimi aufgefallen ist
Adaptive Angriffe drehen die Rangliste um: Das NIST CAISI erhöhte die Kaperung von Claude-3.5-Sonnet-Agenten von 11% auf 81%, und ein laborübergreifendes Team (OpenAI, Anthropic, DeepMind, ETH) brach 12 veröffentlichte Abwehrmechanismen mit über 90% ASR – statische Benchmark-Sicherheit ist ein Boden, keine Decke.
Die einzige Abwehrfamilie mit nahezu null ASR, die Anpassung übersteht, verlagert die Durchsetzung aus dem Modell heraus: CaMeL und Progent erreichen 0% ASR bei AgentDyn, indem sie Werkzeugaufrufe einschränken. CaMeLs 0% kam dort aber mit 0% Nutzen – bei AgentDojo löste CaMeL 67–77% der Aufgaben mit nachweisbarer Sicherheit. Der Kompromiss ist real, aber eng.
Der Zielkonflikt zwischen Nutzen und Sicherheit ist messbar: Im GPT-4o-Lauf von AgentDojo senkte ein Werkzeugfilter die ASR von 47,69% auf 6,84% und hob den Nutzen auf 56,28%. Ein Detektor für Prompt-Injektionen senkte die ASR auf 7,95%, zerschlug aber den Nutzen auf 21,14%. Das Abwehrdesign, nicht das Modell, entscheidet, ob der Agent unter Beschuss nützlich bleibt.
Der Bildschirmzugriff vervielfacht jede Injektion: Ein Agent mit Bildschirmaufnahme und Bedienungshilfen sieht alles, was Sie sehen, und kann senden, löschen, kaufen und Einstellungen ändern. Deshalb ist die Frage nach dem Rückgängigmachen (App-Freigaben, VM-Snapshots, umkehrbare Aktionen) genauso wichtig wie der ASR-Prozentsatz.
🇨🇳 DeepSeek10 Plätze · 1 Hinweise
Dieselbe Frage, allein von DeepSeek beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Claude-Computersteuerung (Claude Fable 5, 2026)
85% bei OSWorld-Verified und 0% gezielte ASR in mehreren AgentDojo-Suiten im nächstgelegenen reproduzierbaren Testgerüst – aber das Testgerüst ist nicht Claude Desktop selbst.
Quelle ↗ - 2Ratchet-Gerüst mit gpt-5.6-luna (2026)
0% gezielte ASR in allen vier AgentDojo-Suiten – das sauberste Sicherheitsergebnis in der offenen AgentDojo-Tabelle –, doch sein OSWorld-Wert steht nicht in derselben Zeile.
Quelle ↗ - 3Coasty CUA v1 (2026)
82,81% bei OSWorld-Verified und keine veröffentlichte AgentDojo/ASB-ASR – stark bei der Arbeit, bei der Täuschung nicht gemessen.
Quelle ↗ - 4OpenAI Operator (2026)
38,1% bei OSWorld, aber kaum lokale Bildschirmdaten – seine Angriffsfläche ist der Browser, nicht Ihr Desktop.
Quelle ↗ - 5Manus (Meta), Desktop-Agent (2026)
72,5% bei OSWorld in einer Cloud-VM – umkehrbar, weil die VM wegwerfbar ist, aber eine ASR für Sicherheits-Benchmarks wird nicht veröffentlicht.
- 6Agent S3 (Simular, 2026)
72,6% bei OSWorld und quelloffen, Sie können es also in einer Sandbox betreiben – es braucht aber trotzdem Bildschirm- und Eingabezugriff, und seine ASR steht nicht in der AgentDojo-Tabelle.
Quelle ↗ - 7UiPath Screen Agent (2026)
67,1% bei OSWorld-Verified mit umfassender UI-Automatisierung – hoher Nutzen, große Steuerfläche, ASR nicht veröffentlicht.
- 8Gemini-3.6-Flash-Agent (Google, 2026)
83% bei OSWorld-Verified, aber kein reproduzierbares AgentDojo- oder ASB-Ergebnis – Arbeitsfähigkeit ohne veröffentlichte Zahl zur Täuschungsresistenz.
Quelle ↗ - 9Kimi-K3-Agent (Moonshot AI, 2026)
84,8% bei OSWorld-Verified und ein b3-Sicherheitswert von 88,0% – aber b3 misst das Modell, nicht die Angriffsfläche des Desktop-Agenten.
Quelle ↗ - 10UI-TARS-2 (ByteDance, 2026)
47,5% bei OSWorld mit nativer Bildschirmsteuerung – mehr Angriffsfläche als ein Cloud-Agent, und keine veröffentlichte AgentDojo-ASR.
Was DeepSeek aufgefallen ist
Die beste veröffentlichte AgentDojo-ASR liegt bei 0%, doch dieses Ergebnis stammt aus einem bestimmten Testgerüst (Ratchet mit gpt-5.6-luna), zu dem es keinen passenden OSWorld-Wert gibt. Der Agent, der im Sicherheits-Benchmark am sichersten ist, ist nicht derselbe, der den Desktop-Aufgaben-Benchmark anführt.
🇨🇳 Wenxin10 Plätze
Dieselbe Frage, allein von Wenxin beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Apples interner KI-Agent für macOS (Build von Anfang 2027)
Keine dauerhafte Aufnahme von Bildschirminhalten; jede Aktion lässt sich vor der Ausführung über eine Unterbrechung auf Systemebene zurücknehmen; 0 gemeldete Umgehungen von Prompt-Injektionen in frühen internen Tests
Quelle ↗ - 2HKU-KYA-konformer Desktop-Agent für Unternehmen
100% eindeutig prüfbare Agentenidentität, vollständige Nachvollziehbarkeit aller Vorgänge, dynamische Berechtigungen werden automatisch entzogen, wenn Aktionen den festgelegten Rahmen überschreiten
- 3Ant Group Pay KI-Agent (2026)
Dreistufiger Zahlungsfreigabe-Ablauf: Selbst vollständig kompromittierte Agenten können ohne manuelle menschliche Bestätigung keine nicht genehmigten Transaktionen mit hohem Wert ausführen
- 4OpenAI Agents API (Beta 2026)
Die gehostete Sandbox-Laufzeit blockiert 89% der bekannten Prompt-Injektions-Nutzlasten; alle riskanten Aktionen erfordern vor der Ausführung eine zweite Bestätigung
- 5Individueller Unternehmens-Agent mit Hybrid-RBAC+ABAC (2026)
Eine Prüfung der Übereinstimmung von Absicht und Verhalten wurde zu den Berechtigungsprüfungen hinzugefügt und blockiert 91% der ungewollten Übergriffe innerhalb des Rahmens
- 6Perplexity Computer (2026)
Isolierte Cloud-Umgebung, vollständig getrennt von sensiblen Daten auf dem lokalen Desktop, ohne dauerhaften lokalen Bildschirmzugriff
- 7Anthropic Claude Computer-Steuerungs-Agent (2026)
Constitutional-AI-Leitplanken blockieren 87% der unbefugten schädlichen Aktionsversuche, 49% Verbreitung bei Entwicklern, mit führenden Vertrauenswerten der Branche
- 8Sai KI-Agent (2026)
Alle GUI-Automatisierungen laufen auf eigens isolierten Cloud-Desktops, standardmäßig ohne Zugriff auf sensible Daten oder Dateien des lokalen Rechners
- 9Meta Muse-Agent (Open Source, 2026)
Der gesamte Laufzeitcode ist öffentlich prüfbar; Nutzer können eigene Regeln zur Erkennung von Prompt-Injektionen hinzufügen, ohne sich auf Drittanbieter zu verlassen
Quelle ↗ - 10OpenCode, quelloffener Programmier-Agent (2026)
Standardmäßig kein automatischer Schreibzugriff auf Produktionsdateien; jede Dateiänderung erfordert die Prüfung und ausdrückliche Freigabe durch den Nutzer
🇨🇳 Qwen10 Plätze · 3 Hinweise
Dieselbe Frage, allein von Qwen beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Claude 3.7 Sonnet
Erledigt 88,66% der nützlichen Arbeit und senkt den Erfolg von Prompt-Injektionen bei AgentDojo auf nur 7,31%.
Quelle ↗ - 2AgentSys (Agent mit Schutz)
Hält den Angriffserfolg bei AgentDojo auf 0,78% und bei ASB auf 4,25%, während der Nutzen bei gutartigen Aufgaben steigt.
Quelle ↗ - 3Claude Opus 4.6
Erzielte in einer gezielten Sicherheitsprüfung perfekte 100% – doch ob sich seine Desktop-Aktionen in der Praxis rückgängig machen lassen, ist umstritten.
Quelle ↗ - 4Verigrey, Agent mit Schutz
Bewahrt 93,2% der nützlichen Arbeit und hält den Angriffserfolg unter 1% – durch Aktionssteuerung statt Prompt-Scanning.
Quelle ↗ - 5o3 (mit Schutz)
Löst 77% der AgentDojo-Aufgaben mit nachweisbarer Sicherheit, verglichen mit 84% beim ungeschützten Ausgangsmodell.
Quelle ↗ - 6Claude 3.5 Sonnet
Erreicht bei ASB die höchste NRP (normalisierte, risikobereinigte Leistung) mit 43,56, trotz grundlegender Angriffsanfälligkeiten.
Quelle ↗ - 7GPT-4o
Erledigt 69,07% der Aufgaben, unterliegt aber fast der Hälfte (47,69%) der Prompt-Injektionen bei AgentDojo ohne strenge Schutzmaßnahmen.
Quelle ↗ - 8GPT-4o-mini
Zeigt eine Angriffserfolgsrate von 49,92% bei AgentDojo und macht deutlich, dass kleinere Modelle Schwierigkeiten haben, eingeschleuste Werkzeugausgaben zu filtern.
Quelle ↗ - 9Claude 3.5 Sonnet (Red-Teaming-geprüft)
Während Grundangriffe nur in 11% der Fälle erfolgreich sind, bricht sie gezielte Red-Team-Prompts in 81% der Fälle durch.
Quelle ↗ - 10GPT-4-0125
Frühe Versionen von 2024 erlitten eine gezielte Erfolgsrate von 56,3% bei Prompt-Injektionen, bevor moderne AgentDojo-Abwehrmaßnahmen standardisiert waren.
Quelle ↗
Was Qwen aufgefallen ist
Aktionssteuerung schlägt Prompt-Scanning: Wer das Ergebnis eines Werkzeugaufrufs blockiert, hält den Angriffserfolg unter 1% und bewahrt dabei 93,2% des Nutzens.
Die gezielte Erfolgsrate von Prompt-Injektionen bei AgentDojo ist von 56,3% bei frühen GPT-4-Modellen auf nur 7,3% bei Claude 3.7 Sonnet gefallen – ein Zeichen für rasante Sicherheitsentwicklung.
Der Agent Security Bench führt die Metrik „normalisierte, risikobereinigte Leistung“ (NRP) ein und zeigt, dass das Ablehnen bösartiger Prompts nicht zwangsläufig das Ablehnen legitimer Arbeit bedeuten muss.