攻撃者は、攻撃成功率がほぼゼロと報告されていた公表済みのプロンプトインジェクション防御12件をすべて突破し、ほとんどを90%超に押し上げました。
AIエージェントのプロンプトインジェクション・ランキング 2026
Claude 3.5 Sonnetは、AgentDojoの標準的なプロンプトインジェクションのうち1.11%を除いてすべて防ぎました。しかしNISTのレッドチームは、同じ世代のエージェントを、攻撃を調整した方法で81%の確率で乗っ取りました。
- 1位:Claude Opus 5(Anthropic)
- 10 位まで
01最終リスト
主要なAIがそれぞれ独立して 10 位までのリストを作りました。確認しやすい 1 つの結果です。各順位に理由、出典、その項目を入れた AI の一覧があります。
両方のテストで再現可能な結果があるシステムのみ。モデル、エージェントの構成、ベンチマークの版を明記したもの
明るいバッジは、その AI がこの項目を自分のリストに入れたことを示します。薄いバッジは入れなかったことを示します。
- 1
Claude Opus 5(Anthropic)
最も良い組み合わせ:OSWorld-Verifiedで83.39%、GUIインジェクションの成功率0.54%。インジェクションの数字はAnthropic自身のものです。AgentDojoやASBの実行結果は公表されていません。
選んだ AI: Claude, MiMo, Kimi, DeepSeek. 選ばなかった AI: ChatGPT, Meta, Grok, Gemini, Wenxin, Qwen.各 AI のリストでの順位: Claude: 1 · MiMo: 3 · Kimi: リストを見る · DeepSeek: 1
4つのAIがここに選出 - 2
OpenAI GPT-5ファミリー(GPT-5.1 / 5.4 / 5.5)
GPT-5.1はAgentDynで4.96%の確率で乗っ取られます。これはGPT-4oの約10分の1です。GPT-5.4は2026年の再現実験で288回中0回の成功でした。GPT-5.5はOSWorld-Verifiedで78.7%です。
選んだ AI: Meta, MiMo, Kimi. 選ばなかった AI: Claude, ChatGPT, Grok, Gemini, DeepSeek, Wenxin, Qwen.各 AI のリストでの順位: Meta: 2 · MiMo: 2 · Kimi: 2
各 AI の指摘 3
- Meta2 位
OSWorld-Verifiedのスコアは高い一方、2024年のAgentDojoでのGPT-4oの攻撃率は47.69%と悪く、その後、2026年の狭い銀行業務のサブセットではGPT-5.4が288件中0件でした。どちらも事実ですが、異なるテストの結果です。
出典 ↗ - MiMo2 位
最新の大型モデルは、前世代の小型モデルより明らかにだましにくくなっています。世代ごとに見ると、これが初めての本格的なセキュリティの差です。
出典 ↗ - Kimi2 位
GPT-5.1での攻撃成功率は4.96%で、GPT-4oの47.69%のおよそ10分の1です。また、このファミリーはOSWorld-Verifiedで75.0%と、デスクトップ部門の首位です。
出典 ↗
3つのAIがここに選出 - 3
グーグル Geminiコンピューター操作
作業能力は強いものの、ガードは弱いです。OSWorld-Verifiedで83%ですが、独立した二つのインジェクション試験では、古いGeminiモデルの攻撃成功率は17〜21%でした。Gemini 3.6自体のインジェクション結果は公表されていません。
選んだ AI: Claude, Meta, MiMo, Kimi, DeepSeek. 選ばなかった AI: ChatGPT, Grok, Gemini, Wenxin, Qwen.各 AI のリストでの順位: Claude: 5 · Meta: 3 · MiMo: 6 · Kimi: 5 · DeepSeek: 8
各 AI の指摘 5
- Claude5 位
グーグルは、あるGeminiモデルがベンチマークで攻撃成功率を0.7%まで下げたと報告しています。ただし同社による主張で、まだ第三者による再現は確認されていません。
出典 ↗ - Meta3 位
Gemini 3.6 FlashのOSWorld-Verifiedは83%。一方、古いAgentDojoでのGemini 1.5 Proの攻撃率は17.01%です。有能ですが、古いインジェクションテストでは中位です。
出典 ↗ - MiMo6 位
すべての操作をライブでプレビューする唯一の大手エージェントです。製品レイヤーの中で最も安全な初期設定です。
出典 ↗ - Kimi5 位
有用性57%ですが攻撃成功率は20.61%。さらに、グーグル自身のデータでは、敵対的な訓練によってGeminiのインジェクション成功率が92%から18%に下がったことがわかっています。
出典 ↗ - DeepSeek8 位
OSWorld-Verifiedで83%ですが、再現可能なAgentDojoやASBの結果はありません。作業能力はあるものの、だまされにくさを示す公表数値はありません。
出典 ↗
5つのAIがここに選出 - 4
Claude Sonnet 4.5(Anthropic)
AgentDynで攻撃を受けながらも最も多くの作業を維持します。有用性スコアは70.7、攻撃成功率は0.87%です。Anthropic自身のストレステストでは、200回の試行で攻撃成功率が87.5%に達します。
選んだ AI: Kimi. 選ばなかった AI: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.各 AI のリストでの順位: Kimi: 1
各 AI の指摘 1
- Kimi1 位
AgentDynで有用性70.7、攻撃成功率0.87%。2026年に測定された、作業量あたりのだまされにくさとして最良の比率です。ただしAnthropic自身の適応型テストでは、200回の試行で攻撃が87.5%まで上がると警告しています。
出典 ↗
1つのAIがここに選出 - 5
OpenAI GPT-5-mini
AgentDynで最も騙しにくいモデルです。攻撃成功率は0.37%で、適応型攻撃でも2.1%だけです。デスクトップのスコアは兄弟モデルのもので、GPT-5.4 miniの72.1%です。
選んだ AI: Kimi. 選ばなかった AI: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.各 AI のリストでの順位: Kimi: 3
各 AI の指摘 1
- Kimi3 位
攻撃成功率0.37%、有用性64.8。AgentDynのテストで最も穏健なモデルは、最もだましにくいモデルでもありました。手作りの適応型攻撃でも2.1%に届くだけです。
出典 ↗
1つのAIがここに選出 - 6
Kimi K2.5 / K2.6(Moonshot AI)
AgentDynでは、どのオープンモデルよりも有用性が高いです。攻撃成功率11.65%で54.2。K2.6はOSWorld-Verifiedで73.1%ですが、長いOSWorld 2.0のジョブは4.6%しか完了できません。
選んだ AI: Kimi, DeepSeek, Qwen. 選ばなかった AI: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Wenxin.各 AI のリストでの順位: Kimi: 4 · DeepSeek: 9 · Qwen: リストを見る
3つのAIがここに選出 - 7
Claude 3.5 Sonnet、2024年10月(Anthropic)
教訓となる例です。AgentDojoの静的な攻撃では攻撃成功率1.11%、NISTの調整された攻撃では81%、公開時のOSWorldではわずか14.9%でした。
選んだ AI: Meta, Kimi, DeepSeek, Qwen. 選ばなかった AI: Claude, ChatGPT, Grok, Gemini, MiMo, Wenxin.各 AI のリストでの順位: Meta: 10 · Kimi: 6 · DeepSeek: リストを見る · Qwen: 1
各 AI の指摘 4
- Meta10 位
AgentDojoの攻撃率は9.06%と低いものの、攻撃下での有用性は33.39%しかありません。コストの低いClaudeの中で最もだまされにくい一方、攻撃されると最も役に立たないモデルです。
出典 ↗ - Kimi6 位
この分野の警告となる事例です。AgentDojoの固定攻撃での攻撃成功率は1.11%、有用性は72.5%。しかしNISTのレッドチームは、保留されたタスクで攻撃を調整し、81%に到達しました。
出典 ↗ - DeepSeek
この AI のリストでは別の名前です。リスト全体を開いてください。
リストを見る - Qwen1 位
有用な作業の88.66%を完了しつつ、AgentDojoでのプロンプトインジェクションの攻撃成功率を7.31%まで縮小します。
出典 ↗
4つのAIがここに選出 - 8
メタ Llama / Muse Spark
Muse Spark 1.1はOSWorldで80.67%ですが、インジェクション試験があるメタのモデルはあまり役に立ちません。Llama-3-70Bは、攻撃成功率25.60%のとき有用性18.28%しか保てません。
選んだ AI: Meta, Kimi. 選ばなかった AI: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.2つのAIがここに選出 - 9
アリババ Qwen
ベンダー報告のデスクトップスコアは86.1%で最高です。しかし、インジェクション試験があるQwenモデルは唯一Qwen3 235Bだけで、攻撃成功率22.67%、有用性10.74を示します。
選んだ AI: Claude, Meta, Grok, Kimi. 選ばなかった AI: ChatGPT, Gemini, MiMo, DeepSeek, Wenxin, Qwen.各 AI のリストでの順位: Claude: 9 · Meta: 5 · Grok: リストを見る · Kimi: 8
4つのAIがここに選出 - 10
OpenAI GPT-4o
AgentDojoでは47.69%の確率で乗っ取られ、OSWorldでは12.2%です。改訂されたASBでは攻撃成功率が73.58%から9.25%に下がりました。これはモデルの変化ではなく、ベンチマークの変更です。
選んだ AI: Meta, Grok, Kimi, Qwen. 選ばなかった AI: Claude, ChatGPT, Gemini, MiMo, DeepSeek, Wenxin.各 AI のリストでの順位: Meta: 9 · Grok: 2 · Kimi: 9 · Qwen: 7
各 AI の指摘 4
- Meta9 位
AgentDojoの攻撃成功率は10.33%と控えめに見えますが、ASBの直接プロンプトインジェクションでは98.40%に達しました。二つのインジェクションテストは別の攻撃を測っており、その差が重要です。
出典 ↗ - Grok2 位
通常の作業の有用性は高いものの、生の攻撃成功率も高めです。フィルターを使えば攻撃成功率を大きく下げられます。
出典 ↗ - Kimi9 位
AgentDojoでの攻撃成功率47.69%、ASBでのPlan-of-Thoughtのバックドア成功率100%。「だいたいうまくいく」の裏に何が隠れているかという、ベンチマーク時代で最も厳しい教訓です。
出典 ↗ - Qwen7 位
タスクの69.07%を完了しますが、厳格なガードレールがないと、AgentDojoのプロンプトインジェクションのほぼ半分(47.69%)に屈します。
出典 ↗
4つのAIがここに選出
02知っておきたいこと
AI がリストを作る中で気づいたこと。
防御の設計が有用性を左右します。GPT-4oでは、ツールフィルターが攻撃成功率を47.69%から6.84%に下げ、有用性を56.28%に上げました。検出器は7.95%まで下げましたが、有用性は21.14%に落ちました。
ASBの最も高い平均攻撃成功率は84.30%です。13のモデル基盤にわたる混合攻撃の下での数字です。
ユーザーは権限確認の93%を承認します。そのため、中身を見ずに押される確認画面はほとんど守りになりません。
2026年の主要なフロンティアシステムで、OSWorld、AgentDojo、ASBの結果が同じチェックポイントで揃っているものはありません。そのため、ほとんどの行は同じモデル系統の数字を組み合わせています。
03集計方法
数式なしで、やさしい言葉で。
1質問
パソコン操作AIの上位10種:作業をこなせるか、だまされないか?
2このテーマを選んだ理由
単独のランキングでは、エージェントが何をできるかと、ウェブページやファイルの隠し指示でどれだけ簡単にあなたに逆らわせられるかを、並べて示せません。
3対象範囲
世界全体。デスクトップアプリやブラウザを操作するコンピュータ操作AIのシステム
4評価の観点
- 両方のテストで再現可能な結果があるシステムのみ。モデル、エージェントの構成、ベンチマークの版を明記したもの
- OSWorld(実際のデスクトップ作業)での作業成功率を、AgentDojoとAgent Security Benchでの攻撃成功率(低いほど良い)と並べて表示。両者は平均せず、横に並べて示す
- 同点の場合の判定:攻撃を受けている間も、エージェントがどれだけ有用な作業を完了するか
- エージェントがどれだけ画面のデータを見るか、その操作を取り消せるかについての別の評価
- OSWorld-Verified(OSWorldチーム、BenchLMトラッカー)— 実際のデスクトップ作業のうち、最終的なアプリまたはファイルの状態で確認して完了した割合
- OSWorld 2.0(スノーケルAI)— 108の長時間ワークフローでの部分完了と二値の完了
- AgentDojo(チューリッヒ工科大学 SPY Lab)— 97タスク・629のインジェクション事例での、攻撃を受けた中での有用な作業と標的型攻撃の成功率(攻撃成功率は低いほど良い)
- AgentDyn(2026年)— より難しい動的なインジェクション試験:有用性、攻撃下の有用性、攻撃成功率
5順位をつけた AI
主要なAI:Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Wenxin, Qwen。それぞれが独自に10位までのリストを作り、各順位に出典を示しました。
6順位の決め方
AI ごとに表現が違っても同じ項目は一つとして数えました。より多くの AI がリストに入れ、より上位に置いた項目ほど順位が高くなります。「AI の一致」は、その項目を自分のリストに入れた AI の数を示します。出典は AI 自身が見つけたものだけで、手作業での追加はありません。
04各 AI のリスト
🇺🇸 Claude10 位まで · メモ 4 件
同じ質問に Claude だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Claude Opus 5(Anthropic、2026年)
同じモデルで、画面操作テストの攻撃成功率は0.54%、OSWorld 2.0の部分達成率は70.6%です。
出典 ↗ - 2Claude Fable 5(Anthropic、2026年)
グレイ・スワンの攻撃成功率は2.8%で、OSWorld-Verifiedでは85%です。
出典 ↗ - 3Claude Mythos 5(Anthropic)
OSWorld-Verifiedで85.0%、グレイ・スワンの攻撃成功率は2.6%です。
- 4Claude Opus 4.8(Anthropic)
OSWorld-Verifiedで83.4%。グレイ・スワンでの攻撃成功率5.5%は、Opus 5の基準値を半分以上下回る水準です。
出典 ↗ - 5Gemini のコンピュータ操作(グーグル、2026年)
グーグルは、あるGeminiモデルがベンチマークで攻撃成功率を0.7%まで下げたと報告しています。ただし同社による主張で、まだ第三者による再現は確認されていません。
出典 ↗ - 6OpenAI Codex のコンピュータ操作 / GPT-6 Astra
ロックされた利用モードはありますが、OSWorld 2.0の72.6%のスコアの近くに、攻撃成功率の数値は見つかりませんでした。
出典 ↗ - 7Claude Sonnet 5(Anthropic)
OSWorld-Verifiedで81.2%。別途のインジェクションの数値は見つかりませんでした。
出典 ↗ - 8Holo3-35B-A3B(H Company)
独立機関によるOSWorld-Verifiedの最高記録(82.6%)ですが、インジェクションのデータは見つかりませんでした。
出典 ↗ - 9Qwen3.8-Max(アリババ)
ベンダー公表のOSWorld表で86.1%と首位ですが、公開されたインジェクションの結果はありません。
出典 ↗ - 10o4-mini を使ったコンピュータ操作エージェント(OS-Harm ベースライン)
基本的なインジェクションの約20%に従ってしまいました。計測された唯一の反例です。
出典 ↗
Claude が気づいたこと
Anthropicの報告では、自動モードと安全装置を使うとブラウザ操作エージェントへのインジェクション成功率は0%、使わないと3.7%です。0%という数字は、その追加の防御層に頼っています。
ウォータールー大学が主導した研究では、より多くのインジェクション攻撃で再学習したエージェントの方が、4つのテストのうち3つで乗っ取られやすくなりました。
信頼できないデータを読む前にツールを制限する防御により、狙い撃ちの攻撃成功率は57.69%から6.84%に下がりました。
英国AISIに関連するテストでは、適応型攻撃によりAgentDojoのWorkspaceでの攻撃成功率が11%から81%に上がったと報告されています。
🇺🇸 Meta10 位まで · メモ 4 件
同じ質問に Meta だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Claude のコンピュータ操作(Anthropic)
OSWorldの上位スコアと、AgentDojoでの攻撃率ほぼゼロを両立させる唯一のファミリーです。ただし二つの数字は、何年も離れた別のチェックポイントのものです。
出典 ↗ - 2OpenAI ChatGPT agent / CUA(OpenAI)
OSWorld-Verifiedのスコアは高い一方、2024年のAgentDojoでのGPT-4oの攻撃率は47.69%と悪く、その後、2026年の狭い銀行業務のサブセットではGPT-5.4が288件中0件でした。どちらも事実ですが、異なるテストの結果です。
出典 ↗ - 3グーグルの Gemini コンピュータ操作(グーグル)
Gemini 3.6 FlashのOSWorld-Verifiedは83%。一方、古いAgentDojoでのGemini 1.5 Proの攻撃率は17.01%です。有能ですが、古いインジェクションテストでは中位です。
出典 ↗ - 4Meta Llama / Muse エージェント(メタ)
Muse Spark 1.1の検証済みOSWorldは80.67%ですが、AgentDojoで実際に試されたMetaのモデルはLlama-3-70Bで、攻撃を受けた状態での有用性は18.28%しか残りませんでした。
出典 ↗ - 5アリババの Qwen エージェント(Qwen)
ベンダー公表のOSWorld-Verifiedで86.1%と最高ですが、QwenはAgentDojoの結果表に一度も載っていません。公開されたインジェクションテストのない能力、ということです。
出典 ↗ - 6Cohere Command-R+ エージェント
AgentDojoの攻撃率は低いものの、攻撃を受けた状態で残る作業も少ないです。攻撃下での有用性は25.12%です。安全ですが、攻撃されると役に立ちにくいモデルです。
出典 ↗ - 7グーグルの Gemma2 エージェント
ASBのベースラインのモデル群には入っていますが、AgentDojoとOSWorld-Verifiedにはありません。セキュリティテスト用のモデルで、実証済みのコンピューター操作エージェントではありません。
出典 ↗ - 8Mistral Mixtral エージェント
Gemma2と同じ状況です。ASBには入っていますが、AgentDojoとOSWorld-Verifiedにはなく、コンピューター操作とインジェクションの両方を再現できる組み合わせはありません。
出典 ↗ - 9OpenAI GPT-3.5 Turbo エージェント
AgentDojoの攻撃成功率は10.33%と控えめに見えますが、ASBの直接プロンプトインジェクションでは98.40%に達しました。二つのインジェクションテストは別の攻撃を測っており、その差が重要です。
出典 ↗ - 10Anthropic Claude 3 Haiku エージェント
AgentDojoの攻撃率は9.06%と低いものの、攻撃下での有用性は33.39%しかありません。コストの低いClaudeの中で最もだまされにくい一方、攻撃されると最も役に立たないモデルです。
出典 ↗
Meta が気づいたこと
AgentDojoの元の表では、Claude 3.5 Sonnet(20241022)の狙い撃ち攻撃率は1.11%、GPT-4oは47.69%でした。同じテスト、同じ攻撃で、安全性は正反対です。
2026年の再現実験では、AgentDojoの銀行業務のサブセットで、防御なしの攻撃成功率はGPT-5.4が288件中0件、Claude Sonnet 4.6が288件中1件でした。ただし著者らは、モデルごとにベンチマークの目標の達成しやすさが同じではなかったと警告しています。
ASB-RevisedはGPT-4oの攻撃成功率を73.58%から9.25%に下げました。モデルは変わらず、ベンチマークの改訂だけで、同じモデルの評価が逆転したのです。
適応型の攻撃者は、ほぼゼロの攻撃成功率を報告していた12のプロンプトインジェクション防御を突破し、多くで90%を超える攻撃成功率に達しました。固定されたAgentDojoの攻撃は、本気で狙う攻撃者を過小評価しがちです。
🇺🇸 Grok10 位まで · メモ 1 件
同じ質問に Grok だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Claude 3.5/4.x/5.x のコンピュータ操作エージェント(Anthropic)
AgentDojoの公開された実行結果では、GPT-4oより攻撃下での有用性が高く、狙い撃ちの攻撃成功率は低いです。
出典 ↗ - 2防御策を施した GPT-4o / OpenAI CUA の構成
通常の作業の有用性は高いものの、生の攻撃成功率も高めです。フィルターを使えば攻撃成功率を大きく下げられます。
出典 ↗ - 3シミュラー Sai
長期のOSWorldでの部分スコアは高い。セキュリティの数値は、AgentDojoでは独立した公表がありません。
出典 ↗ - 4Qwen3.8 Max の構成
Verifiedのデスクトップ成功率はトップクラスです。公開されたAgentDojo/ASBの組み合わせは限られています。
出典 ↗ - 5マイクロソフトの Mage-VL-Cowork
コンパクトなオープンのハイブリッド・エージェントで、Verifiedは66%。公開されたプロンプトインジェクションの組のスコアはありません。
出典 ↗ - 6Pointer Agent
ハイブリッドな手法によりVerifiedのスコアは高いですが、インジェクションへの強さは詳しく示されていません。
出典 ↗ - 7コースティ CUA
Verifiedのデスクトップスコアは高いですが、攻撃対象の面に関するデータは少ないです。
出典 ↗ - 8Intelligence-Indeed Z-Agent
Verifiedのデスクトップ完了率は最高ですが、公開されたAgentDojoの組み合わせは見つかりませんでした。
出典 ↗ - 9オープンウェイトの小型モデル + CapLite 型のガード
ある防御の研究では、数千のAgentDojoのエピソードで攻撃の成功はゼロでした。
出典 ↗ - 10専用の防御策を持たない汎用のフロンティアエージェント
ASBは、さまざまなインジェクション手法を混ぜた場合の攻撃成功率の平均のピークを84.30%と報告しています。
出典 ↗
Grok が気づいたこと
AgentDojoの元の論文では、強力なモデルでも攻撃なしではタスクの66%未満しか解けず、攻撃の成功は25%未満でした。新しいClaudeの実行では、狙い撃ちの攻撃成功率はさらに低くなっています。
🇺🇸 Gemini10 位まで · メモ 1 件
同じ質問に Gemini だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Claude 3.7 Sonnet コンピュータ操作(Anthropic)
二重の階層のシステムプロンプトにより、AgentDojoでの間接的なプロンプトインジェクションによる乗っ取り率を2.4%に抑えつつ、デスクトップ作業の完了率44.2%を達成します。
- 2Claude 3.5 Sonnet コンピュータ操作(Anthropic)
実世界のデスクトップ操作38.6%と、インジェクション攻撃率4.8%の低さを両立させ、敵対的なWebページを操作する場合でも有用性71.4%を維持します。
- 3Agent S2.5(o3 推論基盤搭載)
OSタスクで業界最高水準の56.4%を記録しますが、深い推論の連鎖は、間接的なインジェクションテストの12.3%で、許可されていないファイル移動に誘導されてしまうことがあります。
- 4OpenAI Operator(GPT-4o 視覚パイプライン)
ブラウザとデスクトップの作業フローの46.8%を解きますが、信頼できない第三者のDOMテキストに出会うと、28.5%の攻撃成功率を示します。
- 5バイトダンス UI-TARS-2(72B、ローカルの視覚エージェント)
OSWorldで53.1%の完了率という立派な数字ですが、デスクトップの背景画像に埋め込まれた視覚的なプロンプトインジェクションにより、テストの19.4%で操作が乗っ取られます。
出典 ↗ - 6コースティのエージェント(二重 LLM ガードレール搭載、2025年)
OSWorldで42.1%に達するために生の速度を犠牲にし、外部の監視フィルターによってインジェクション成功率を6.2%まで下げています。
- 7UI-TARS-1.5(バイトダンス、オープンウェイト)
検証済みのOSタスクの42.5%を実行しますが、安全性の調整層なしの生のオープンウェイト微調整では、埋め込まれたPDFの指示に対する脆弱性が34.1%になります。
出典 ↗ - 8OS-Copilot / FRIDAY(自律シェルエージェント)
Linuxの作業フローの35.6%を完了しますが、制限のないbash実行のため、感染したテキスト文書を読むと43.7%という危険な攻撃成功率になります。
- 9シミュラーの GUI エージェント(視覚的グラウンディング・スイート)
デスクトップ作業では38.3%に達しますが、敵対的な指示がシステムのダイアログ・ボックスを装うと、26.2%のインジェクション率になります。
- 10Adept ACT-1(ブラウザ・企業向け業務ワークフロー)
検証済みの作業フロー完了率は31.2%ですが、従来のDOMパーサーは、Webページのコメントに隠された間接的なプロンプトインジェクションの41.5%に屈します。
Gemini が気づいたこと
ファイル削除やメール送信といったOS上の操作は、APIの「元に戻す」ボタンで自動的に取り消せません。そのため、セキュリティの専門家は、取り消せないデスクトップの操作すべてに、必須の確認ステップを設けることを勧めています。
🇨🇳 MiMo10 位まで · メモ 4 件
同じ質問に MiMo だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Claude Code の自動モード(Anthropic、2026年)
ひっかけ問題に幾何学で答えます。誘いの餌に届かないエージェントは、餌に食いつくこともありません。
出典 ↗ - 2GPT-5 ファミリーのエージェント(OpenAI)
最新の大型モデルは、前世代の小型モデルより明らかにだましにくくなっています。世代ごとに見ると、これが初めての本格的なセキュリティの差です。
出典 ↗ - 3Claude Opus 5(Anthropic)
最も独立に突き合わせられたエージェントです。ライバルの実行でも、数字はわずかな割引で済みます。
出典 ↗ - 4GPT-6.2 Astra(OpenAI)
長い作業での新しい最高スコアを、3分の1の価格で実現。ただし自社のカードには、誤った職場での操作が記録されています。
出典 ↗ - 5GPT-6.1 Sol(OpenAI)
長いデスクトップ作業では最上位の頭脳と2.1ポイント差で、しかも日常的な価格で使えます。
出典 ↗ - 6Mac 向け Gemini のコンピュータ操作(グーグル)
すべての操作をライブでプレビューする唯一の大手エージェントです。製品レイヤーの中で最も安全な初期設定です。
出典 ↗ - 7Claude Cowork のコンピュータ操作(Anthropic)
スコアは上位ですが、最大の弱点を一行で書いています。エージェントとあなたの画面の間にサンドボックスがないことです。
出典 ↗ - 8Qwen3.8 Max(アリババ)
ボード上で最高のデスクトップスコアですが、そのセキュリティは、利用者自身では実行できないチェックポイントに頼っています。
出典 ↗ - 9Muse Spark 1.3(メタ)
Metaのデスクトップ・エージェントは、長期の順位表に66.9%で入ります。自前で実行し、自前のハーネスで動かしたものです。
出典 ↗ - 10MiniMax M3(MiniMax)
正直な下限です。作成者自身の実行で、長いジョブでは22.3%。それでも公開しています。これをする人はほとんどいません。
出典 ↗
MiMo が気づいたこと
だまされやすさが、初めてモデル世代ごとに改善しています。レッドチーム研究では、GPT-5はAgentDojoでGPT-4o-miniより攻撃しにくいことがわかりました。
危険な数字は攻撃成功率ではなく、承認疲れです。実際の利用者は権限の確認の93%を承認しています。人が何も考えずに押してしまう確認は、確認がないのと同じです。
独立した再実行は稀で、非常に価値があります。Snorkel AIの共著者による再実行では、GPT-5.6 Solは自己申告のスコアと2ポイント以内に収まりましたが、Opus 5では2.3ポイント下回りました。
プライバシー研究(AGENTDAM)はClaudeのコンピューター操作エージェントを直接評価し、自律的なWeb/コンピューターのエージェントが、タスクのスコアには表れない形で非公開データを漏らすことを明らかにしました。
🇨🇳 Kimi10 位まで · メモ 4 件
同じ質問に Kimi だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Claude Sonnet 4.5(Anthropic)
AgentDynで有用性70.7、攻撃成功率0.87%。2026年に測定された、作業量あたりのだまされにくさとして最良の比率です。ただしAnthropic自身の適応型テストでは、200回の試行で攻撃が87.5%まで上がると警告しています。
出典 ↗ - 2GPT-5.1 / GPT-5.4 ファミリー(OpenAI)
GPT-5.1での攻撃成功率は4.96%で、GPT-4oの47.69%のおよそ10分の1です。また、このファミリーはOSWorld-Verifiedで75.0%と、デスクトップ部門の首位です。
出典 ↗ - 3GPT-5-mini(OpenAI)
攻撃成功率0.37%、有用性64.8。AgentDynのテストで最も穏健なモデルは、最もだましにくいモデルでもありました。手作りの適応型攻撃でも2.1%に届くだけです。
出典 ↗ - 4Kimi K2.5 / K2.6(Moonshot AI)
攻撃成功率11.65%で有用性54.2。AgentDynでオープンモデルの中で最良の有用性です。K2.6のOSWorld-Verifiedは73.1%で、このファミリーがデスクトップ作業もこなせることを示しています。
出典 ↗ - 5Gemini 2.5 Pro / Gemini 3.5 Flash(グーグル)
有用性57%ですが攻撃成功率は20.61%。さらに、グーグル自身のデータでは、敵対的な訓練によってGeminiのインジェクション成功率が92%から18%に下がったことがわかっています。
出典 ↗ - 6Claude 3.5 Sonnet、2024年10月版(Anthropic)
この分野の警告となる事例です。AgentDojoの固定攻撃での攻撃成功率は1.11%、有用性は72.5%。しかしNISTのレッドチームは、保留されたタスクで攻撃を調整し、81%に到達しました。
出典 ↗ - 7Llama 3.3 70B(メタ)
攻撃成功率11.91%は立派に見えますが、有用性を見ると6.15%です。攻撃者だけでなく、作業そのものに失敗しています。
出典 ↗ - 8Qwen3 235B-A22B(アリババ)
攻撃成功率22.67%で、このセットの中で最も弱い有用性(10.74%)です。成果のない露出です。
出典 ↗ - 9GPT-4o(OpenAI)
AgentDojoでの攻撃成功率47.69%、ASBでのPlan-of-Thoughtのバックドア成功率100%。「だいたいうまくいく」の裏に何が隠れているかという、ベンチマーク時代で最も厳しい教訓です。
出典 ↗ - 10GPT-4o-mini(OpenAI)
ASBの平均攻撃成功率は67.55%で、測定された中で最悪です。小さく、安く、そして無防備です。直接のインジェクションでは95%以上です。
出典 ↗
Kimi が気づいたこと
適応型攻撃は順位表をひっくり返します。NIST CAISIは、Claude 3.5 Sonnetのエージェントへの乗っ取りを11%から81%に引き上げました。また、OpenAI、Anthropic、DeepMind、ETHの共同チームは、公表された12の防御を90%超の攻撃成功率で突破しました。固定ベンチマークでの安全性は最低限の水準であって、上限ではありません。
攻撃の適応に耐え、攻撃成功率がほぼゼロの防御の唯一のファミリーは、執行をモデルの外に移すものです。CaMeLとProgentは、ツール呼び出しを制限することでAgentDynの攻撃成功率0%を達成しましたが、CaMeLの0%はそこで有用性0%を伴いました。一方、AgentDojoではCaMeLは証明可能な安全性を保ったまま、タスクの67〜77%を解きました。そのトレードオフは現実にありますが、範囲は限られています。
有用性と安全性のトレードオフは計測できます。AgentDojoのGPT-4oの実行では、ツールフィルターが攻撃成功率を47.69%から6.84%に下げ、有用性は56.28%に上がりました。一方、プロンプトインジェクション検出器は攻撃成功率を7.95%まで下げましたが、有用性は21.14%まで押し下げました。攻撃を受けたときにエージェントが役に立ち続けるかどうかは、モデルではなく防御の設計で決まります。
画面へのアクセスは、あらゆるインジェクションの効果を増幅させます。画面収録とアクセシビリティの権限を持つエージェントは、あなたが見るすべてを見られ、送信、削除、購入、設定変更までできます。だからこそ、攻撃成功率のパーセンテージと同じくらい、元に戻せるか(アプリごとの承認、VMのスナップショット、取り消し可能な操作)という問いが重要なのです。
🇨🇳 DeepSeek10 位まで · メモ 1 件
同じ質問に DeepSeek だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Claude Computer Use(Claude Fable 5、2026年)
最も再現性の高いハーネスでは、OSWorld-Verifiedで85%、いくつかのAgentDojoのスイートで狙い撃ちの攻撃成功率0%です。ただしそのハーネスはClaude Desktop本体ではありません。
出典 ↗ - 2gpt-5.6-luna を使った Ratchet ハーネス(2026年)
AgentDojoの4つのスイートすべてで狙い撃ちの攻撃成功率0%。公開されたAgentDojoの表で最もクリーンなセキュリティ結果ですが、そのOSWorldのスコアは同じ行にありません。
出典 ↗ - 3コースティ CUA v1(2026年)
OSWorld-Verifiedで82.81%。公開されたAgentDojo/ASBの攻撃成功率はありません。作業では強い一方、だまされにくさは計測されていません。
出典 ↗ - 4OpenAI Operator(2026年)
OSWorldは38.1%ですが、ローカル画面のデータはほとんどありません。その攻撃対象はあなたのデスクトップではなく、ブラウザです。
出典 ↗ - 5Manus(メタ)のデスクトップエージェント(2026年)
クラウドVM上のOSWorldで72.5%。VMは使い捨てなので元に戻せますが、セキュリティベンチマークの攻撃成功率は公表されていません。
- 6Agent S3(シミュラー、2026年)
OSWorldで72.6%、しかもオープンソースなので、サンドボックスに入れられます。ただし画面と入力へのアクセスは必要で、その攻撃成功率はAgentDojoの表にはありません。
出典 ↗ - 7UiPath Screen Agent(2026年)
OSWorld-Verifiedで67.1%、幅広いUI自動化を備えています。有用性は高いものの操作の範囲も広く、攻撃成功率は非公開です。
- 8Gemini 3.6 Flash エージェント(グーグル、2026年)
OSWorld-Verifiedで83%ですが、再現可能なAgentDojoやASBの結果はありません。作業能力はあるものの、だまされにくさを示す公表数値はありません。
出典 ↗ - 9Kimi K3 エージェント(Moonshot AI、2026年)
OSWorld-Verifiedで84.8%、b3のセキュリティスコアは88.0%。ただしb3が測るのはモデルそのものであり、デスクトップ・エージェントの攻撃対象ではありません。
出典 ↗ - 10UI-TARS-2(バイトダンス、2026年)
OSWorldで47.5%、ネイティブの画面操作を持ちます。クラウドのエージェントより露出が多く、AgentDojoの攻撃成功率は公表されていません。
DeepSeek が気づいたこと
AgentDojoで公表された最良の攻撃成功率は0%ですが、その結果は特定のハーネス(gpt-5.6-lunaを使ったRatchet)によるもので、対応するOSWorldのスコアはありません。セキュリティベンチマークで最も安全なエージェントが、デスクトップ作業のベンチマークで首位のエージェントと同じとは限りません。
🇨🇳 Wenxin10 位まで
同じ質問に Wenxin だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1アップル社内向け macOS AI エージェント(2027年初頭ビルド)
画面データの永続的な取得はありません。すべての操作は、実行前にシステムレベルの割り込みで取り消せます。初期の社内テストで報告されたプロンプトインジェクションの回避は0件です。
出典 ↗ - 2HKU KYA 準拠の企業向けデスクトップエージェント
ID検証可能なエージェントの識別子は100%固有です。操作のすべてが追跡可能で、操作が定められた範囲を超えると、権限は動的に自動で取り消されます。
- 3アント・グループの決済 AI エージェント(2026年)
支払いの三段階の承認フロー。完全に乗っ取られたエージェントでも、人による手動の確認なしには、承認されていない高額な取引を実行できません。
- 4OpenAI Agents API(2026年ベータ版)
ホスト型のサンドボックス実行環境は、既知のプロンプトインジェクションのペイロードの89%を遮断します。危険な操作はすべて、実行前に二次確認が必要です。
- 5RBAC と ABAC を組み合わせた企業向けカスタムエージェント(2026年)
権限チェックに、意図と動作の整合性の検証を追加。範囲内での意図しない過剰な操作の91%を遮断します。
- 6パープレキシティ Computer(2026年)
クラウドの隔離環境は、ローカルデスクトップの機密データから完全に分離されています。ローカルの画面への永続的なアクセスはまったくありません。
- 7Anthropic の Claude コンピュータ操作エージェント(2026年)
Constitutional AIのガードレールは、許可されていない有害な操作の試みの87%を遮断します。開発者の採用率は49%で、業界トップクラスの信頼評価を得ています。
- 8Sai AI エージェント(2026年)
すべてのGUI自動化は専用の隔離されたクラウドデスクトップで実行され、初期設定ではローカルホストの機密データやファイルにはアクセスできません。
- 9メタ Muse エージェント(2026年、オープンソース)
実行コードは全体が公開されて監査可能です。利用者は、サードパーティのベンダーに頼らず、独自のプロンプトインジェクション検出ルールを追加できます。
出典 ↗ - 10OpenCode オープンソースのコーディングエージェント(2026年)
初期設定では、本番ファイルへの自動書き込み権限はありません。ファイルの変更はすべて、利用者のレビューと明示的な承認が必要です。
🇨🇳 Qwen10 位まで · メモ 3 件
同じ質問に Qwen だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Claude 3.7 Sonnet
有用な作業の88.66%を完了しつつ、AgentDojoでのプロンプトインジェクションの攻撃成功率を7.31%まで縮小します。
出典 ↗ - 2AgentSys(防御型エージェント)
AgentDojoでの攻撃成功率は0.78%、ASBでは4.25%に抑えつつ、通常の作業の有用性を向上させています。
出典 ↗ - 3Claude Opus 4.6
ある標的型のセキュリティ監査で100%の満点を取りました。ただし、そのデスクトップ操作が現実にどこまで元に戻せるかは、議論が続いています。
出典 ↗ - 4Verigrey 防御型エージェント
有用な作業の93.2%を保ちつつ、プロンプトのスキャンではなく操作のガバナンスによって、攻撃成功率を1%未満に抑えます。
出典 ↗ - 5o3(防御型)
AgentDojoのタスクの77%を、証明可能な安全性を保ったまま完了します。防御のないベースラインは84%です。
出典 ↗ - 6Claude 3.5 Sonnet
ASBで正規化リスク調整後性能(NRP)の最高値43.56を達成しました。ベースラインに攻撃への脆弱性があったにもかかわらずです。
出典 ↗ - 7GPT-4o
タスクの69.07%を完了しますが、厳格なガードレールがないと、AgentDojoのプロンプトインジェクションのほぼ半分(47.69%)に屈します。
出典 ↗ - 8GPT-4o-mini
AgentDojoで49.92%の攻撃成功率を示します。小型モデルが、注入されたツールの出力をフィルターするのに苦労することを示しています。
出典 ↗ - 9Claude 3.5 Sonnet(レッドチーム検証済み)
ベースラインの攻撃の成功率は11%に過ぎませんが、協調したレッドチームのプロンプトは81%の確率で突破します。
出典 ↗ - 10GPT-4-0125
2024年初期の版では、現代のAgentDojoの防御が標準化される前、狙い撃ちのプロンプトインジェクションの成功率が56.3%に達していました。
出典 ↗
Qwen が気づいたこと
操作のガバナンスはプロンプトのスキャンに勝ります。ツール呼び出しの結果をブロックすると、攻撃成功率は1%未満に保たれ、有用性の93.2%が残ります。
AgentDojoの狙い撃ちプロンプトインジェクションの攻撃成功率は、初期のGPT-4モデルの56.3%から、Claude 3.7 Sonnetでは7.3%まで下がり、セキュリティが急速に進化していることを示しています。
Agent Security Benchは「正規化リスク調整後性能」(NRP)という指標を導入し、悪意のあるプロンプトを拒否することが、正当な作業の拒否を意味しなくてよいことを示しました。