自适应攻击者突破了12种已发布的提示注入防御,这些防御此前都宣称攻击成功率接近零,突破后大多数升至90%以上。
2026年AI智能体提示注入排行榜
Claude 3.5 Sonnet抵挡住了AgentDojo标准提示注入中除1.11%之外的所有攻击,但NIST的红队用改良攻击,让同一代智能体有81%的时间被劫持。
- 第1名:Claude Opus 5(Anthropic)
- 10 个名次
01最终榜单
领先的 AI 各自独立编制了十项榜单。这里是一份便于核对的汇总:每个名次都有理由、来源,以及列入它的 AI。
仅纳入在两类测试中都有可复现结果的系统,并注明模型、智能体设置和基准版本
亮色标签表示该 AI 把这一项列入了自己的榜单,暗色标签表示没有。
- 1
Claude Opus 5(Anthropic)
找到的最佳组合:OSWorld-Verified得分83.39%,图形界面注入成功率0.54%。注入数据来自Anthropic自己;尚未发布任何AgentDojo或ASB的测试结果。
已列入: Claude, MiMo, Kimi, DeepSeek. 未列入: ChatGPT, Meta, Grok, Gemini, Wenxin, Qwen.在各自榜单中的名次: Claude: 1 · MiMo: 3 · Kimi: 查看列表 · DeepSeek: 1
4 个 AI 列入此名次 - 2
OpenAI GPT-5系列(GPT-5.1 / 5.4 / 5.5)
GPT-5.1在AgentDyn上被劫持的比例为4.96%,约为GPT-4o的十分之一;GPT-5.4在2026年的一次复现中,288次攻击全部未能得逞。GPT-5.5在OSWorld-Verified上得分78.7%。
已列入: Meta, MiMo, Kimi. 未列入: Claude, ChatGPT, Grok, Gemini, DeepSeek, Wenxin, Qwen.3 个 AI 列入此名次 - 3
谷歌Gemini电脑操控
干活能力强,防护较弱:OSWorld-Verified得分83%,但两项独立的注入测试显示,较早的Gemini模型攻击成功率为17–21%。Gemini 3.6本身尚未公布任何注入测试结果。
已列入: Claude, Meta, MiMo, Kimi, DeepSeek. 未列入: ChatGPT, Grok, Gemini, Wenxin, Qwen.在各自榜单中的名次: Claude: 5 · Meta: 3 · MiMo: 6 · Kimi: 5 · DeepSeek: 8
每个 AI 的看法 5
- Claude第 5 名
谷歌称,某款 Gemini 模型在一项测试中把攻击成功率降到 0.7%,这是厂商自己的说法,尚未有第三方复现。
来源 ↗ - Meta第 3 名
Gemini 3.6 Flash 的 OSWorld-Verified 得分为 83%,而 Gemini 1.5 Pro 的 AgentDojo 攻击率为 17.01%——能力强,但在老的注入测试中表现平平。
来源 ↗ - MiMo第 6 名
唯一一个会实时预览每一步操作的主流智能体——是产品层最安全的默认姿态。
来源 ↗ - Kimi第 5 名
正常任务完成度 57%,但攻击成功率 20.61%——谷歌自己的数据显示,对抗训练才是把 Gemini 的注入成功率从 92% 降到 18% 的原因。
来源 ↗ - DeepSeek第 8 名
OSWorld-Verified 得分 83%,但没有可复现的 AgentDojo 或 ASB 结果——干活能力有,抗骗能力却没有公布数字。
来源 ↗
5 个 AI 列入此名次 - 4
Claude Sonnet 4.5(Anthropic)
在AgentDyn上,受攻击时仍能完成最多工作:实用性得分70.7,攻击成功率0.87%。Anthropic自己的压力测试显示,200次尝试能把攻击成功率推高到87.5%。
已列入: Kimi. 未列入: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.在各自榜单中的名次: Kimi: 1
每个 AI 的看法 1
- Kimi第 1 名
在 AgentDyn 上正常任务完成度 70.7,攻击成功率 0.87%——这是 2026 年测得的最佳“干活与被骗”比值,不过 Anthropic 自己的自适应测试提醒,200 次尝试的攻击会升至 87.5%。
来源 ↗
1 个 AI 列入此名次 - 5
OpenAI GPT-5-mini
AgentDyn上最难被骗的模型:攻击成功率0.37%,在自适应攻击下也只有2.1%。其桌面成绩借用的是同系列模型GPT-5.4 mini的72.1%。
已列入: Kimi. 未列入: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.在各自榜单中的名次: Kimi: 3
每个 AI 的看法 1
- Kimi第 3 名
攻击成功率 0.37%,正常任务完成度 64.8——AgentDyn 测试中最不起眼的模型最难被骗,即便是人工设计的自适应攻击,也只达到 2.1%。
来源 ↗
1 个 AI 列入此名次 - 6
Kimi K2.5 / K2.6(月之暗面)
在AgentDyn上,开放模型中实用性最好:54.2分,攻击成功率11.65%。K2.6在OSWorld-Verified上得分73.1%,但在OSWorld 2.0的长任务中只完成4.6%。
已列入: Kimi, DeepSeek, Qwen. 未列入: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Wenxin.在各自榜单中的名次: Kimi: 4 · DeepSeek: 9 · Qwen: 查看列表
3 个 AI 列入此名次 - 7
Claude 3.5 Sonnet,2024年10月(Anthropic)
前车之鉴:在AgentDojo的静态攻击上攻击成功率为1.11%,在NIST的改良攻击下为81%,而发布时在OSWorld上只有14.9%。
已列入: Meta, Kimi, DeepSeek, Qwen. 未列入: Claude, ChatGPT, Grok, Gemini, MiMo, Wenxin.在各自榜单中的名次: Meta: 10 · Kimi: 6 · DeepSeek: 查看列表 · Qwen: 1
每个 AI 的看法 4
4 个 AI 列入此名次 - 8
Meta Llama / Muse Spark
Muse Spark 1.1在OSWorld上得分80.67%,但有注入测试的Meta模型几乎做不了什么有用的工作:Llama-3-70B保留了18.28%的实用性,攻击成功率25.60%。
已列入: Meta, Kimi. 未列入: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.2 个 AI 列入此名次 - 9
阿里巴巴Qwen
厂商报告的桌面成绩最高,为86.1%,但唯一有注入测试的Qwen模型Qwen3 235B显示攻击成功率22.67%,实用性得分10.74。
已列入: Claude, Meta, Grok, Kimi. 未列入: ChatGPT, Gemini, MiMo, DeepSeek, Wenxin, Qwen.在各自榜单中的名次: Claude: 9 · Meta: 5 · Grok: 查看列表 · Kimi: 8
4 个 AI 列入此名次 - 10
OpenAI GPT-4o
在AgentDojo上被劫持的比例为47.69%,在OSWorld上得分12.2%。修订后的ASB把它的攻击成功率从73.58%降到9.25%,这是基准测试的改动,而非模型本身的变化。
已列入: Meta, Grok, Kimi, Qwen. 未列入: Claude, ChatGPT, Gemini, MiMo, DeepSeek, Wenxin.在各自榜单中的名次: Meta: 9 · Grok: 2 · Kimi: 9 · Qwen: 7
每个 AI 的看法 4
- Meta第 9 名
AgentDojo 攻击成功率看起来不高,只有 10.33%,但 ASB 的直接提示注入攻击成功率达到 98.40%——两种注入测试衡量的是不同的攻击,这个差距很重要。
来源 ↗ - Grok第 2 名
正常任务完成度很高,但原始攻击成功率更高;过滤器能大幅降低攻击成功率。
来源 ↗ - Kimi第 9 名
AgentDojo 上攻击成功率 47.69%,ASB 中 Plan-of-Thought 后门成功率 100%——这是测试基准时代最痛的一课:“基本能用”背后藏着什么。
来源 ↗ - Qwen第 7 名
完成了 69.07% 的任务,但在没有严格防护的情况下,AgentDojo 上近一半(47.69%)的提示注入都能得逞。
来源 ↗
4 个 AI 列入此名次
02值得了解
AI 在编制榜单时注意到的内容。
防御的设计决定了实用性。在GPT-4o上,工具过滤器把攻击成功率从47.69%降到6.84%,并把实用性提高到56.28%;检测器把攻击成功率降到7.95%,但实用性只剩21.14%。
ASB在13种模型底座的混合攻击下,最高平均攻击成功率为84.30%。
用户有93%的权限请求都会点“同意”,所以这类不假思索点下的提示,起不到多少保护作用。
目前没有任何2026年的前沿系统在同一检查点上同时有OSWorld、AgentDojo和ASB的结果,因此大多数行是把同一模型系列的数字拼在一起的。
03我们如何统计
用大白话讲,不用公式。
1问题
十大AI电脑操控智能体:能完成工作吗,又能被骗吗?
2为什么选这个话题
没有任何单一排行榜,能把智能体能做什么,和网页或文件中的隐藏指令能多容易地让它反过来对付你,放在一起比较。
3适用范围
全球范围;操作桌面应用和浏览器的电脑操控智能体系统
4考量标准
- 仅纳入在两类测试中都有可复现结果的系统,并注明模型、智能体设置和基准版本
- OSWorld(真实桌面工作)的任务成功率,与AgentDojo和Agent Security Bench上的提示注入攻击成功率(越低越好)并列显示;两者并排展示,从不取平均值
- 并列时的判定:智能体在受攻击时仍能完成多少有用工作
- 单独的判断:智能体能看到多少屏幕数据,以及其操作能否撤销
- OSWorld-Verified(OSWorld团队;BenchLM追踪表)——完成真实桌面任务的比例,依据最终的应用或文件状态核验
- OSWorld 2.0(斯诺克尔AI)——在108个长流程工作流上的部分完成率与二元完成率
- AgentDojo(苏黎世联邦理工学院 SPY Lab)——在97项任务、629个注入案例中,受攻击时的实用工作量与定向攻击成功率(攻击成功率越低越好)
- AgentDyn(2026)——更难的动态注入测试:实用性、受攻击时的实用性和攻击成功率
5谁来排名
领先的 AI:Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Wenxin, Qwen。每个 AI 独立编制自己的十项榜单,并为每个名次注明来源。
6名次如何确定
不同 AI 以不同说法写出的同一项被视为一项。把某项列入榜单的 AI 越多、排得越靠前,它的名次就越高。“AI 共识”表示有多少个 AI 在自己的榜单中列入了该项。来源仅限 AI 自己找到的,没有任何人工添加。
04各个 AI 的单独榜单
🇺🇸 Claude10 个名次 · 4 条备注
同一个问题,仅由 Claude 回答。上方的最终榜单综合了所有 AI。
- 1Claude Opus 5(Anthropic,2026)
图形界面测试中攻击成功率为 0.54%,同一模型的 OSWorld 2.0 部分得分为 70.6%。
来源 ↗ - 2Claude Fable 5(Anthropic,2026)
灰天鹅测试的攻击成功率为 2.8%,OSWorld-Verified 得分为 85%。
来源 ↗ - 3Claude Mythos 5(Anthropic)
OSWorld-Verified 得分 85.0%,灰天鹅测试 2.6%。
- 4Claude Opus 4.8(Anthropic)
OSWorld-Verified 得分 83.4%;它在灰天鹅测试中的 5.5%,比 Opus 5 的基线还低了一半多。
来源 ↗ - 5Gemini 电脑操作(谷歌,2026)
谷歌称,某款 Gemini 模型在一项测试中把攻击成功率降到 0.7%,这是厂商自己的说法,尚未有第三方复现。
来源 ↗ - 6OpenAI Codex 电脑操作 / GPT-6 Astra
有锁定使用模式,但没有找到攻击成功率数据,只有 OSWorld 2.0 得分 72.6%。
来源 ↗ - 7Claude Sonnet 5(Anthropic)
OSWorld-Verified 得分 81.2%,未找到单独的注入攻击数据。
来源 ↗ - 8Holo3-35B-A3B(H Company)
第三方独立测得的 OSWorld-Verified 最高成绩(82.6%),但未找到注入攻击数据。
来源 ↗ - 9Qwen3.8-Max(阿里巴巴)
厂商公布的 OSWorld 排行榜首位,得分 86.1%,但未公布注入攻击结果。
来源 ↗ - 10基于 o4-mini 的电脑操作智能体(OS-Harm 基线)
基础注入攻击中约有 20% 的情况会被执行,这是唯一一个有实测数据的反例。
来源 ↗
Claude 注意到的内容
Anthropic 称,开启自动模式和防护措施后,浏览器智能体的注入攻击成功率为 0%;不开启时为 3.7%。这个 0% 依赖于额外的防护层。
滑铁卢大学牵头的一项研究发现,用更多注入攻击重新训练的智能体,在四项测试中有三项更容易被劫持。
一种在读取不可信数据之前先限制工具使用的防御方法,把定向攻击成功率从 57.69% 降到了 6.84%。
与英国AI安全研究所相关的测试显示,自适应攻击把 AgentDojo Workspace 的攻击成功率从 11% 提高到 81%。
🇺🇸 Meta10 个名次 · 4 条备注
同一个问题,仅由 Meta 回答。上方的最终榜单综合了所有 AI。
- 1Claude 电脑操作(Anthropic)
这是唯一一个既有顶尖 OSWorld 得分、AgentDojo 攻击率又接近零的系列,但两个数字来自相隔数年的不同版本。
来源 ↗ - 2OpenAI ChatGPT 智能体 / CUA(OpenAI)
OSWorld-Verified 得分很高;GPT-4o 在 2024 年的 AgentDojo 攻击率高达 47.69%,非常糟糕;而 GPT-5.4 在 2026 年一个较窄的银行子集上为 0/288。两者都属实,只是针对不同的测试。
来源 ↗ - 3谷歌 Gemini 电脑操作(谷歌)
Gemini 3.6 Flash 的 OSWorld-Verified 得分为 83%,而 Gemini 1.5 Pro 的 AgentDojo 攻击率为 17.01%——能力强,但在老的注入测试中表现平平。
来源 ↗ - 4Meta Llama / Muse 智能体(Meta)
Muse Spark 1.1 经核实的 OSWorld 得分为 80.67%;但在 AgentDojo 中实际测试的 Meta 模型 Llama-3-70B,在遭受攻击时只保住了 18.28% 的正常任务完成度。
来源 ↗ - 5阿里巴巴 Qwen 智能体(Qwen)
厂商公布的 OSWorld-Verified 最高分为 86.1%,但 Qwen 从未出现在 AgentDojo 结果表中——能力有,公开的注入测试却没有。
来源 ↗ - 6Cohere Command-R+ 智能体
AgentDojo 攻击率低,但遭受攻击时保住的工作量也少:正常任务完成度为 25.12%——安全,但受攻击时用处不大。
来源 ↗ - 7谷歌 Gemma2 智能体
出现在 ASB 的核心模型组中,但不在 AgentDojo 和 OSWorld-Verified 里——是一个安全测试模型,而不是经过验证的电脑操作智能体。
来源 ↗ - 8Mistral Mixtral 智能体
情况和 Gemma2 相同:出现在 ASB 中,却不在 AgentDojo 和 OSWorld-Verified 里——没有可复现的电脑操作加注入测试的组合结果。
来源 ↗ - 9OpenAI GPT-3.5 Turbo 智能体
AgentDojo 攻击成功率看起来不高,只有 10.33%,但 ASB 的直接提示注入攻击成功率达到 98.40%——两种注入测试衡量的是不同的攻击,这个差距很重要。
来源 ↗ - 10Anthropic Claude 3 Haiku 智能体
AgentDojo 攻击率低至 9.06%,但遭受攻击时正常任务完成度只有 33.39%——是最便宜的 Claude 版本,最不容易被骗,但受攻击时也最没用。
来源 ↗
Meta 注意到的内容
AgentDojo 的原始表格中,Claude 3.5 Sonnet(20241022)的定向攻击率为 1.11%,GPT-4o 为 47.69%——同一测试、同一攻击,安全性却截然相反。
一项 2026 年的复现研究发现,在 AgentDojo 银行子集上,无防护攻击成功率方面,GPT-5.4 为 0/288,Claude Sonnet 4.6 为 1/288;但作者提醒,各模型能否达成测试目标并不相同。
修订后的 ASB-Revised 把 GPT-4o 的攻击成功率从 73.58% 降到 9.25%——同一个模型,结论翻转,原因是测试基准修订,而不是模型变了。
自适应攻击者突破了 12 种此前报告攻击成功率接近零的提示注入防御,其中大多数的攻击成功率超过 90%——静态的 AgentDojo 攻击低估了执着的攻击者。
🇺🇸 Grok10 个名次 · 1 条备注
同一个问题,仅由 Grok 回答。上方的最终榜单综合了所有 AI。
- 1Claude 3.5/4.x/5.x 电脑操作智能体(Anthropic)
在已公布的 AgentDojo 测试中,受攻击时正常任务完成度更高,定向攻击成功率低于 GPT-4o。
来源 ↗ - 2带防护的 GPT-4o / OpenAI CUA 配置
正常任务完成度很高,但原始攻击成功率更高;过滤器能大幅降低攻击成功率。
来源 ↗ - 3西穆拉 Sai
长程 OSWorld 部分得分很高;安全数据未在 AgentDojo 上由第三方公布。
来源 ↗ - 4Qwen3.8 Max 配置
OSWorld-Verified 桌面任务成功率处于顶级水平;公开的 AgentDojo/ASB 配对结果有限。
来源 ↗ - 5微软 Mage-VL-Cowork
紧凑的开源混合型智能体,经核实得分 66%;未公布提示注入的配对得分。
来源 ↗ - 6Pointer 智能体
通过混合方法获得较高的核实得分;注入抗性未详细说明。
来源 ↗ - 7科斯蒂 CUA
经核实的桌面得分很强;攻击面数据稀少。
来源 ↗ - 8Intelligence-Indeed Z-Agent
经核实的桌面任务完成率最高;未找到公开的 AgentDojo 配对结果。
来源 ↗ - 9开放权重小模型 + CapLite 式防护
在一项防御研究中,数千个 AgentDojo 回合里攻击成功次数为零。
来源 ↗ - 10没有专门防护的通用前沿智能体
ASB 报告,在多种混合注入方法中,平均攻击成功率峰值为 84.30%。
来源 ↗
Grok 注意到的内容
AgentDojo 原始论文发现,即使是强大的模型,在没有攻击时完成的任务也不到 66%,攻击成功的比例不到 25%;较新的 Claude 测试显示定向攻击成功率更低。
🇺🇸 Gemini10 个名次 · 1 条备注
同一个问题,仅由 Gemini 回答。上方的最终榜单综合了所有 AI。
- 1Claude 3.7 Sonnet 电脑操作(Anthropic)
桌面任务完成率达到 44.2%,同时通过双层系统提示层级,把 AgentDojo 上的间接提示注入劫持率压低到 2.4%。
- 2Claude 3.5 Sonnet 电脑操作(Anthropic)
在 38.6% 的真实桌面导航能力与 4.8% 的低注入攻击率之间取得平衡;即便在浏览带有攻击内容的网页时,仍保持 71.4% 的正常任务完成度。
- 3Agent S2.5,以 o3 推理为底座
在 OSWorld 任务上得分 56.4%,处于行业领先水平;但在 12.3% 的间接注入测试中,深度推理链仍可能被诱导,擅自移动文件。
- 4OpenAI Operator(GPT-4o 视觉流程)
能完成 46.8% 的浏览器和桌面工作流程,但在遇到不可信的第三方页面文本时,攻击成功率为 28.5%。
- 5字节跳动 UI-TARS-2(72B 本地视觉智能体)
OSWorld 完成率高达 53.1%,实力不俗;但嵌入在桌面背景图片中的视觉提示注入,在 19.4% 的测试中劫持了它的操作。
来源 ↗ - 6科斯蒂智能体,带双大模型护栏(2025)
牺牲了原始速度,在 OSWorld 上得分 42.1%,同时通过外部监督过滤器把注入成功率降到 6.2%。
- 7UI-TARS-1.5(字节跳动开放权重)
能执行 42.5% 的已核实系统任务,但未经安全对齐层、仅做原始开源权重微调,对嵌入在 PDF 中的指令有 34.1% 的脆弱性。
来源 ↗ - 8OS-Copilot / FRIDAY(自主命令行智能体)
完成 35.6% 的 Linux 工作流程,但它不受限制地执行 bash 命令,在读取被感染的文本文档时,攻击成功率高达 43.7%,非常危险。
- 9西穆拉 GUI 智能体(视觉定位套件)
桌面任务得分 38.3%;当攻击指令伪装成系统对话框时,注入率为 26.2%。
- 10Adept AI ACT-1(浏览器与企业工作流)
经核实的工作流程完成率为 31.2%;但老旧的 DOM 解析器在 41.5% 的间接提示注入攻击中失守,这些攻击藏在网页评论里。
Gemini 注意到的内容
删除文件、发送邮件这类系统级操作,无法通过 API 的撤销按钮自动“撤回”,因此安全专家建议,对所有不可逆的桌面操作都设置强制确认关卡。
🇨🇳 MiMo10 个名次 · 4 条备注
同一个问题,仅由 MiMo 回答。上方的最终榜单综合了所有 AI。
- 1Claude Code 自动模式(Anthropic,2026)
它用几何来回答这道陷阱题:够不着诱饵的智能体,就不会上钩。
来源 ↗ - 2GPT-5 系列智能体(OpenAI)
最新的大模型比它的小型前代明显更难被骗——按代际计算,这是第一次出现真正的安全差距。
来源 ↗ - 3Claude Opus 5(Anthropic)
被第三方交叉核对最多的智能体:它的数字在对手的测试中只打了一点小折扣。
来源 ↗ - 4GPT-6.2 Astra(OpenAI)
长任务新得分最高,价格只要三分之一——但它自己的卡片上记录着它在工作中出错的操作。
来源 ↗ - 5GPT-6.1 Sol(OpenAI)
在长桌面任务上,与旗舰大脑只差 2.1 分,价格却是日常水平。
来源 ↗ - 6Mac 版 Gemini 电脑操作(谷歌)
唯一一个会实时预览每一步操作的主流智能体——是产品层最安全的默认姿态。
来源 ↗ - 7Claude Cowork 电脑操作(Anthropic)
得分接近顶尖,并在一行字里写明了自己最大的漏洞:智能体和你的屏幕之间没有沙盒。
来源 ↗ - 8Qwen3.8 Max(阿里巴巴)
排行榜上桌面得分最高,但它的安全状况取决于一个你自己无法实际运行的版本。
来源 ↗ - 9Muse Spark 1.3(Meta)
Meta 的桌面智能体以 66.9% 的成绩进入长程榜单——由它自己运行,使用它自己的测试框架。
来源 ↗ - 10MiniMax M3(MiniMax)
坦诚的底线:作者自己测得长任务 22.3%——照样公布,这一点几乎没人做到。
来源 ↗
MiMo 注意到的内容
被骗的难度第一次随模型代际改善:红队研究发现,在 AgentDojo 上,GPT-5 比 GPT-4o-mini 明显更难被攻击。
真正危险的数字不是攻击成功率,而是审批疲劳:真实用户会通过 93% 的权限提示,所以人们想都不想就点“同意”的提示,等于没有提示。
第三方独立复测很少见,却非常宝贵:斯诺克尔AI的合著者复测显示,GPT-5.6 Sol 与自报得分相差在 2 分以内,而 Opus 5 则低了 2.3 分。
隐私研究(AGENTDAM)直接评估了 Claude 的电脑操作智能体,发现自主运行的网页和电脑智能体会泄露隐私数据,而这些泄露在任务得分中从未显示出来。
🇨🇳 Kimi10 个名次 · 4 条备注
同一个问题,仅由 Kimi 回答。上方的最终榜单综合了所有 AI。
- 1Claude Sonnet 4.5(Anthropic)
在 AgentDyn 上正常任务完成度 70.7,攻击成功率 0.87%——这是 2026 年测得的最佳“干活与被骗”比值,不过 Anthropic 自己的自适应测试提醒,200 次尝试的攻击会升至 87.5%。
来源 ↗ - 2GPT-5.1 / GPT-5.4 系列(OpenAI)
GPT-5.1 的攻击成功率为 4.96%,约为 GPT-4o 的 47.69% 的十分之一;同一系列在 OSWorld-Verified 上以 75.0% 位居桌面榜首。
来源 ↗ - 3GPT-5-mini(OpenAI)
攻击成功率 0.37%,正常任务完成度 64.8——AgentDyn 测试中最不起眼的模型最难被骗,即便是人工设计的自适应攻击,也只达到 2.1%。
来源 ↗ - 4Kimi K2.5 / K2.6(月之暗面)
正常任务完成度 54.2,攻击成功率 11.65%——是 AgentDyn 中开源模型里完成度最高的;K2.6 在 OSWorld-Verified 上得分 73.1%,证明了该系列的桌面能力范围。
来源 ↗ - 5Gemini 2.5 Pro / Gemini 3.5 Flash(谷歌)
正常任务完成度 57%,但攻击成功率 20.61%——谷歌自己的数据显示,对抗训练才是把 Gemini 的注入成功率从 92% 降到 18% 的原因。
来源 ↗ - 6Claude 3.5 Sonnet,2024 年 10 月发布(Anthropic)
这个领域的警示案例:在 AgentDojo 的静态攻击中攻击成功率 1.11%,正常任务完成度 72.5%——随后,美国国家标准与技术研究院的红队在留出任务上用改良后的攻击达到了 81%。
来源 ↗ - 7Llama 3.3 70B(Meta)
攻击成功率 11.91% 看起来不错,直到你看到完成度:6.15%——它失败的是工作本身,而不只是挡住了攻击者。
来源 ↗ - 8Qwen3 235B-A22B(阿里巴巴)
攻击成功率 22.67%,而正常任务完成度在这组里最弱(10.74%)——暴露了风险,却没有换来成果。
来源 ↗ - 9GPT-4o(OpenAI)
AgentDojo 上攻击成功率 47.69%,ASB 中 Plan-of-Thought 后门成功率 100%——这是测试基准时代最痛的一课:“基本能用”背后藏着什么。
来源 ↗ - 10GPT-4o-mini(OpenAI)
ASB 中平均攻击成功率 67.55%,是测得的最差结果——体积小、价格低、门户大开,直接注入的成功率在 95% 以上。
来源 ↗
Kimi 注意到的内容
自适应攻击会颠覆排行榜:美国国家标准与技术研究院(NIST)下属的 CAISI 把对 Claude 3.5 Sonnet 智能体的劫持成功率从 11% 提高到 81%;一个跨实验室团队(OpenAI、Anthropic、DeepMind、ETH)以超过 90% 的攻击成功率突破了 12 种已公布的防御——静态基准上的安全只是底线,不是上限。
唯一一类在自适应攻击下仍能把攻击成功率压到接近零的防御,是把执行约束放到模型之外:CaMeL 和 Progent 通过限制工具调用,在 AgentDyn 上把攻击成功率降到 0%;但 CaMeL 的 0% 同时伴随着 0% 的正常任务完成度。而在 AgentDojo 上,CaMeL 以可证明的安全性完成了 67%–77% 的任务——这种取舍是真实的,但范围很窄。
完成度与安全之间的取舍是可以量化的:在 AgentDojo 的 GPT-4o 测试中,工具过滤器把攻击成功率从 47.69% 降到 6.84%,同时把正常任务完成度提高到 56.28%;而提示注入检测器虽然把攻击成功率降到 7.95%,却把完成度砸到 21.14%——决定智能体在受攻击时能否保持有用的,是防御设计,而不是模型本身。
屏幕权限会放大每一次注入:拥有“屏幕录制”和“辅助功能”权限的智能体,能看到你看到的一切,还能发送、删除、购买和更改设置——所以“能不能撤回”的问题(逐应用审批、虚拟机快照、可逆操作),和攻击成功率数字同样重要。
🇨🇳 DeepSeek10 个名次 · 1 条备注
同一个问题,仅由 DeepSeek 回答。上方的最终榜单综合了所有 AI。
- 1Claude 电脑操作(Claude Fable 5,2026)
在最接近、可复现的测试框架中,OSWorld-Verified 得分 85%,多个 AgentDojo 套件的定向攻击成功率为 0%——但这个测试框架本身并不是 Claude Desktop。
来源 ↗ - 2Ratchet 框架,搭配 gpt-5.6-luna(2026)
四个 AgentDojo 套件的定向攻击成功率全部为 0%——这是公开 AgentDojo 表格里最干净的安全结果——但它的 OSWorld 得分不在同一行。
来源 ↗ - 3科斯蒂 CUA v1(2026)
OSWorld-Verified 得分 82.81%,未公布 AgentDojo/ASB 攻击成功率——干活能力强,抗骗能力未经测量。
来源 ↗ - 4OpenAI Operator(2026)
OSWorld 得分 38.1%,但几乎没有本地屏幕数据——它的攻击面是浏览器,而不是你的桌面。
来源 ↗ - 5Manus(Meta)桌面智能体(2026)
在云端虚拟机中 OSWorld 得分 72.5%——虚拟机可以随时丢弃,因此可以撤回;但安全基准的攻击成功率未公布。
- 6Agent S3(西穆拉,2026)
OSWorld 得分 72.6%,而且开源,所以你可以把它放进沙盒——但它仍需要屏幕和输入权限,而且它的攻击成功率不在 AgentDojo 表格里。
来源 ↗ - 7UiPath 屏幕智能体(2026)
OSWorld-Verified 得分 67.1%,界面自动化范围广——完成度高,可控制的范围也大,攻击成功率未公布。
- 8Gemini 3.6 Flash 智能体(谷歌,2026)
OSWorld-Verified 得分 83%,但没有可复现的 AgentDojo 或 ASB 结果——干活能力有,抗骗能力却没有公布数字。
来源 ↗ - 9Kimi K3 智能体(月之暗面,2026)
OSWorld-Verified 得分 84.8%,b3 安全分 88.0%——但 b3 衡量的是模型,而不是桌面智能体的攻击面。
来源 ↗ - 10UI-TARS-2(字节跳动,2026)
OSWorld 得分 47.5%,直接控制本机屏幕——比云端智能体暴露的风险更多,而且没有公布 AgentDojo 攻击成功率。
DeepSeek 注意到的内容
AgentDojo 公布的最佳攻击成功率是 0%,但这一结果来自一个特定的测试框架(Ratchet 配合 gpt-5.6-luna),该框架没有对应的 OSWorld 得分。在安全基准上最安全的智能体,并不是在桌面工作基准上名列第一的那一个。
🇨🇳 Wenxin10 个名次
同一个问题,仅由 Wenxin 回答。上方的最终榜单综合了所有 AI。
- 1苹果公司内部 macOS AI 智能体(2027 年初版本)
没有持续的屏幕数据采集;每个操作在执行前都可以通过系统级中断撤销;早期内部测试中,报告的提示注入绕过次数为 0
来源 ↗ - 2符合 HKU KYA 标准的企业桌面智能体
100% 可验证的唯一智能体身份,完整的操作可追溯,当操作超出预设范围时,动态权限会自动撤销
- 3蚂蚁集团支付 AI 智能体(2026)
三级支付授权流程:即便智能体被完全攻陷,没有人工确认,也无法执行未经批准的高额交易
- 4OpenAI Agents API(2026 年测试版)
托管沙盒运行时可拦截 89% 已知的提示注入载荷;所有高风险操作在执行前都需要二次确认
- 5RBAC+ABAC 混合企业定制智能体(2026)
在权限检查中加入意图与行为一致性校验,可拦截 91% 在授权范围内的越权操作
- 6珀普莱西蒂 Computer(2026)
隔离的云端环境与本地桌面的敏感数据完全分开,完全没有对本地屏幕的持续访问
- 7Anthropic Claude 电脑操作智能体(2026)
宪法式 AI 防护可拦截 87% 未经授权的有害操作尝试;开发者采用率 49%,行业信任评级位居前列
- 8Sai AI 智能体(2026)
所有图形界面自动化操作都在专用的隔离云端桌面上运行,默认无法访问本机的敏感数据或文件
- 9Meta Muse 智能体(2026 年开源)
运行时的完整代码可公开审计;用户可以自行添加提示注入检测规则,无需依赖第三方厂商
来源 ↗ - 10OpenCode 开源编程智能体(2026)
默认没有对生产文件的自动写入权限;每次修改文件都需要用户审阅并明确批准
🇨🇳 Qwen10 个名次 · 3 条备注
同一个问题,仅由 Qwen 回答。上方的最终榜单综合了所有 AI。
- 1Claude 3.7 Sonnet
完成了 88.66% 的有效工作,同时把 AgentDojo 上的提示注入攻击成功率压低到仅 7.31%。
来源 ↗ - 2AgentSys(有防护的智能体)
在 AgentDojo 上把攻击成功率控制在 0.78%,在 ASB 上为 4.25%,同时提高了正常任务的完成度。
来源 ↗ - 3Claude Opus 4.6
在一次定向安全审计中得了满分 100%,不过其桌面操作在现实中能否撤回,仍有争议。
来源 ↗ - 4Verigrey 有防护的智能体
通过操作治理而非提示扫描,攻击成功率保持在 1% 以下,同时保住了 93.2% 的有效工作。
来源 ↗ - 5o3(有防护)
在可证明安全的前提下完成了 77% 的 AgentDojo 任务;无防护的基线为 84%。
来源 ↗ - 6Claude 3.5 Sonnet
尽管基线存在攻击漏洞,它在 ASB 上取得了最高的 NRP(风险调整后标准化表现)得分 43.56。
来源 ↗ - 7GPT-4o
完成了 69.07% 的任务,但在没有严格防护的情况下,AgentDojo 上近一半(47.69%)的提示注入都能得逞。
来源 ↗ - 8GPT-4o-mini
在 AgentDojo 上攻击成功率为 49.92%,说明较小的模型难以过滤被注入的工具输出。
来源 ↗ - 9Claude 3.5 Sonnet(红队测试)
基线攻击的成功率只有 11%,但经过协调的红队提示能以 81% 的成功率突破它。
来源 ↗ - 10GPT-4-0125
在 AgentDojo 的现代防御标准化之前,2024 年初的版本定向提示注入成功率为 56.3%。
来源 ↗
Qwen 注意到的内容
操作治理胜过提示扫描:拦截工具调用的结果,可以把攻击成功率保持在 1% 以下,同时保住 93.2% 的完成度。
AgentDojo 的定向提示注入攻击成功率,已从早期 GPT-4 模型的 56.3% 降到 Claude 3.7 Sonnet 的仅 7.3%,显示安全能力进步很快。
智能体安全基准(ASB)提出了“风险调整后标准化表现”(NRP)这一指标,证明拒绝恶意提示,不一定意味着拒绝正当工作。