严格通过和评分给出的故事不同。GPT-6.2 Astra完整通过47.5%的长任务,但平均得分为78.3%,因此它的大部分工作只拿到了部分分,并未通过每一项检查。
AI智能体排行榜:2026年工作用AI智能体前十名,按真实任务测试排序
在Agents' Last Exam上表现最好的GPT-6.2 Astra,在122项长周期专业任务中只完整完成47.5%。在Zapier的业务流程测试中,多数失败是智能体报告成功,而记录其实是错的。
- 第1名:GPT-6.2 Astra(Codex)
- 10 个名次
01最终榜单
领先的 AI 各自独立编制了十项榜单。这里是一份便于核对的汇总:每个名次都有理由、来源,以及列入它的 AI。
比较长周期专业任务上的完成率和评分成绩,包括部分得分与严格通过率。
亮色标签表示该 AI 把这一项列入了自己的榜单,暗色标签表示没有。
- 1
GPT-6.2 Astra(Codex)
它在长考试中的严格通过率最高,为47.5%,耗时29小时;Fable则需要227小时。在Zapier的业务流程中,它以每项任务0.83美元的成本通过了52.4%。
已列入: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, Qwen. 未列入: Claude, DeepSeek, Qianwen.在各自榜单中的名次: ChatGPT: 1 · Meta: 2 · Grok: 1 · Gemini: 1 · MiMo: 1 · Kimi: 5 · Qwen: 2
每个 AI 的看法 7
- ChatGPT第 1 名
严格通过率47.5%,评分得分78.3%,每项任务成本3.05美元,耗时约14分钟:近半数任务仍未达到全有或全无的门槛。
来源 ↗ - Meta第 2 名
在ALE v1.1上严格通过率47.5%,为迄今最高,且用时29小时而非227小时。
来源 ↗ - Grok第 1 名
它在29小时内严格完成了122项长期专业任务中的47.5%,而Fable需要227小时才能接近这一结果。
- Gemini第 1 名
在Agents' Last Exam v1.1上以47.5%的通过率和78.3%的部分得分领先,使用260万个输出token,不过用户仍指出其过度复杂化和未经验证的说法。
来源 ↗ - MiMo第 1 名
首个被评为自我改进能力“高”级的模型,但仍是人类最后才监督的那一个。
来源 ↗ - Kimi第 5 名
拥有任何地方公布的最高专业工作自报成绩,即ALE v1.1上77.6%。但这是该实验室自己最高努力档的评分标准,而非他人所采用的严格通过率。
来源 ↗ - Qwen第 2 名
在Agents' Last Exam v1.1上以47.5%的严格通过率和78.3%的评分领先,使用260万个输出token。
来源 ↗
7 个 AI 列入此名次 - 2
Gemini 4 Carbon
它在两个榜单上都名列前茅:长考试严格通过率45.9%,Zapier流程53.9%。其77.4%的部分得分掩盖了一个事实:每100项长任务中约有54项失败。
已列入: ChatGPT, Meta, Grok, Gemini, Claude, Kimi, DeepSeek. 未列入: MiMo, Qwen, Qianwen.在各自榜单中的名次: ChatGPT: 9 · Meta: 4 · Grok: 2 · Gemini: 3 · Claude: 1 · Kimi: 3 · DeepSeek: 1
每个 AI 的看法 7
- ChatGPT第 9 名
任务完成率53.9%,仅次于私有榜单的领先者,但与ALE的专业计算机使用任务不能直接比较。
来源 ↗ - Meta第 4 名
在AutomationBench上为53.9%,是跨应用最佳成绩;在GDPx上为10.9%,每项任务成本仅为Opus的三分之一。
- Grok第 2 名
长篇考试评分为77.4%,但在这些任务中,每100项仍有约54项严格不通过。
- Gemini第 3 名
在Agents' Last Exam v1.1上通过率45.9%,得分77.4%,在复杂工作流程上的部分得分表现强劲,并辅以确定性的验证器检查。
来源 ↗ - Claude第 1 名
在Agents' Last Exam v1.1上以45.9%的严格通过率和77.4%的得分领先,并以每项2.12美元通过了53.9%的AutomationBench任务。
- Kimi第 3 名
最严格的工作流程评分者的冠军:AutomationBench上53.9%,是Zapier在657项真实业务任务中记录到的最高通过率。
- DeepSeek第 1 名
ALE上严格通过率45.9%、得分77.4%,领先,但在最难层级上仍然100%失败。
来源 ↗
7 个 AI 列入此名次 - 3
Claude Fable 5.2(Claude Code)
它在长考试中的通过率为46.9%,未计入被降级的9项任务,且耗时227小时,是最耗费资源的一次运行。它在Zapier流程中通过51.4%,但每项任务成本为4.64美元。
已列入: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Qwen. 未列入: Claude, Qianwen.在各自榜单中的名次: ChatGPT: 6 · Meta: 3 · Grok: 7 · Gemini: 2 · MiMo: 2 · Kimi: 4 · DeepSeek: 2 · Qwen: 1
每个 AI 的看法 8
- ChatGPT第 6 名
严格通过率43.4%,在所展示的运行中每项任务成本60.05美元,耗时两小时:通过率接近领先者,成本却几乎是其20倍。
来源 ↗ - Meta第 3 名
在ALE v1.1上为46.9%,位居智能指数榜首,智能体运行时间为227小时。
来源 ↗ - Grok第 7 名
46.9%的通过率不含9项任务,而该运行仍耗时227小时,每个工作流程花费4.64美元。
- Gemini第 2 名
在Agents' Last Exam v1.1上通过率46.9%,得分72.8%(平均值不计9项被降级的题目),但需要对成本和验证严格把控。
来源 ↗ - MiMo第 2 名
与Astra价格相当,约8美元。基准竞争如今由几美分决定,而非由智力决定。
来源 ↗ - Kimi第 4 名
在单次发布中使前代翻了一番,AutomationBench从22.4%升至51.4%。每项任务使用96.9次工具调用,最高努力档下每次实际通过成本9.01美元。
- DeepSeek第 2 名
完成41.25%的真实自由职业项目,是Opus 5.5的两倍多,每项ALE任务成本15.70美元以上。
- Qwen第 1 名
在SWE-bench Verified上以95%居首,并在Arena真实工作帕累托前沿上每项任务11.32美元。
来源 ↗
8 个 AI 列入此名次 - 4
Gemini 4 Neon
它在Zapier官方流程榜单上以56.3%居首,每项任务成本1.69美元。它没有长专业考试的成绩,因此只在一个榜单上接受了测试。
已列入: ChatGPT, Grok, Gemini, Claude, Qwen. 未列入: Meta, MiMo, Kimi, DeepSeek, Qianwen.在各自榜单中的名次: ChatGPT: 2 · Grok: 4 · Gemini: 4 · Claude: 5 · Qwen: 5
每个 AI 的看法 5
- ChatGPT第 2 名
在Zapier的私有工作流程集中,严格完成率为56.3%,领先于当前模型榜单,但只有当每个应用的最终状态都正确,才算一项任务完成。
来源 ↗ - Grok第 4 名
它完成了Zapier私有工作流程的56.32%,每项1.69美元,而长篇专业考试并未列出它。
- Gemini第 4 名
在AutomationBench-AA上以79.3%居首,在跨多应用的业务工作流程中完成了94%的目标,但对高风险操作仍需护栏和人工检查。
来源 ↗ - Claude第 5 名
在AutomationBench上以每项任务1.69美元取得56.3%,居榜首,单项成本低于Carbon。
来源 ↗ - Qwen第 5 名
在独立的Artificial Analysis AutomationBench-AA榜单上以79.3%的模拟SaaS工作流程得分居首。
来源 ↗
5 个 AI 列入此名次 - 5
Qwen 4(Codex harness)
它在长考试中通过46.7%,仅落后Fable 0.1个百分点,但需要185小时。由外部团队运行,未公布流程或成本数据。
已列入: Meta, Grok, Gemini. 未列入: ChatGPT, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen.3 个 AI 列入此名次 - 6
Kimi 3.1 Pro(Kimi Code)
它以61小时而非177小时,达到了Opus 5.5在长考试中43.4%的通过率,输出令牌用了850万个,而对方为2150万个。在接近榜首的模型中,它是效率之选。
已列入: ChatGPT, Grok, Gemini, Claude, DeepSeek. 未列入: Meta, MiMo, Kimi, Qwen, Qianwen.在各自榜单中的名次: ChatGPT: 7 · Grok: 3 · Gemini: 6 · Claude: 4 · DeepSeek: 5
每个 AI 的看法 5
- ChatGPT第 7 名
严格通过率43.4%,每项任务7美元,耗时约30分钟,与本榜单上更高成本的前沿运行通过率相同。
来源 ↗ - Grok第 3 名
与Opus的严格通过率相同,均为43.4%,所用时间约为其三分之一,并使用850万个token,而Opus为2150万个。
来源 ↗ - Gemini第 6 名
在Kimi Code框架中通过率43.4%,位居榜首,得分74.4%,使用850万个输出token,远低于Claude Opus 5.5的2150万个。
来源 ↗ - Claude第 4 名
一个开源权重系列的模型在ALE v1.1上以43.4%与Opus 5.5并列,而其同系的Kimi K3在AutomationBench上以22.7%排名第12。
来源 ↗ - DeepSeek第 5 名
ALE通过率43.4%,耗时61小时,比得分相近的Opus 5.5和Fable 5.2都快。
来源 ↗
5 个 AI 列入此名次 - 7
Gemini 4 Hydrogen(Antigravity CLI)
它是性价比之选:在Zapier流程中以每项0.82美元通过51.1%,每项0.18美元时仍有30.6%。它在长考试中也通过了43.4%。
已列入: Grok, Kimi. 未列入: ChatGPT, Meta, Gemini, Claude, MiMo, DeepSeek, Qwen, Qianwen.每个 AI 的看法 2
- Grok第 9 名
业务工作流程每项成本0.82美元,严格通过率51.14%;而长篇考试消耗2550万个token,才达到43.4%。
- Kimi第 6 名
性价比之选:AutomationBench上51.1%,每项任务0.82美元;在低努力档下仍能以0.18美元通过30.6%。所测试的模型中,没有哪个既更便宜又更准确。
2 个 AI 列入此名次 - 8
Claude Opus 5.5(Claude Code)
它在长考试中通过43.4%,耗时177小时,用了2150万个令牌;在Zapier流程中通过42.5%,每项1.44美元。其旧版榜单的38.2%来自不同的任务集。
已列入: ChatGPT, Meta, Grok, Claude, Kimi, DeepSeek, Qwen. 未列入: Gemini, MiMo, Qianwen.在各自榜单中的名次: ChatGPT: 10 · Meta: 1 · Grok: 8 · Claude: 2 · Kimi: 1 · DeepSeek: 4 · Qwen: 4
每个 AI 的看法 7
- ChatGPT第 10 名
在Zapier的公开600项任务集上为50.3%,但Zapier提醒,其官方私有保留测试的成绩可能有所不同。
来源 ↗ - Meta第 1 名
在最难的专业测试中领先,通过率12%,但仍有88%失败,每项任务成本51.41美元。
来源 ↗ - Grok第 8 名
严格通过率43.4%,评分71.6%,耗时177小时,产生2150万个输出token。
来源 ↗ - Claude第 2 名
在ALE v1.1上以43.4%与人并列第二,但在AutomationBench上,中等档每项任务0.65美元时为29.5%,最高档时为42.5%,因设置不同而差距很大。
来源 ↗ - Kimi第 1 名
在最严格的专业工作考试(Agents' Last Exam上38.2%通过、63.2%得分)和GDPval-AA(68.3%)上领先,耗费1,340美元和183小时的算力。
来源 ↗ - DeepSeek第 4 名
在DAYJOB的13至17小时专业任务中表现最好,医疗领域为24.7%,但在ALE上耗时177小时。
来源 ↗ - Qwen第 4 名
在SWE-bench Verified上(配合Mini-SWE-agent)达到97%,同时在Arena的工作榜单上每项任务成本仅8.06美元。
来源 ↗
7 个 AI 列入此名次 - 9
GPT-6.2 Sol(Codex)
它比Astra少约6个百分点,长考试通过41.8%,但仍在32小时内完成,消耗310万个令牌。未公布流程榜单成绩。
已列入: Grok, MiMo. 未列入: ChatGPT, Meta, Gemini, Claude, Kimi, DeepSeek, Qwen, Qianwen.2 个 AI 列入此名次 - 10
Gemini 4 Argon
它在Zapier流程中以每项1.70美元的标价通过51.3%,但长考试仅通过40.2%。它在10月曾领先流程榜单,后被Neon超过。
已列入: Meta, Grok, Claude, DeepSeek. 未列入: ChatGPT, Gemini, MiMo, Kimi, Qwen, Qianwen.在各自榜单中的名次: Meta: 5 · Grok: 10 · Claude: 8 · DeepSeek: 6
4 个 AI 列入此名次
02值得了解
AI 在编制榜单时注意到的内容。
失败看起来像成功:Zapier报告称,在Gemini的失败案例中,91%的智能体声称成功而记录有误;GPT-5.4的这一比例为84%,Opus为72%。
通过率相近,所需的机器运行时间可能相差一天或一周。Astra的47.5%耗时29小时,而Fable 5.2的46.9%(题目集缺少9项任务)耗时227小时。
在AutomationBench-AA上评测的每个模型都破坏了业务护栏,每项任务违规0.46至1.26次,因此人工复核不可或缺。
Epoch AI认定Agents' Last Exam v1.1存在缺陷:在一个样本中,50项任务里有22项即使没有完成预期工作也能拿满分。应把这些分数当作证据,而不是可靠性保证。
03我们如何统计
用大白话讲,不用公式。
1问题
专业工作用AI智能体前十名:任务表现、成本与人工监督
2为什么选这个话题
读者既能看到实测的任务表现,也能看到成本、运行时间以及是否需要人工复核,这些权衡是任何单一基准都无法体现的。
3适用范围
全球AI智能体系统,重点关注长周期、可核验的专业工作流程
4考量标准
- 比较长周期专业任务上的完成率和评分成绩,包括部分得分与严格通过率。
- 将表现与成本、运行时间,以及为信任结果所需的人工复核、纠正或接管进行对照。
- 《Agents' Last Exam》v1.1(加州大学伯克利分校RDI、RDI基金会、Snorkel AI)— 在55个子行业的122项公开长周期任务上的严格通过率与部分得分评分,并附运行时间和输出
- Zapier AutomationBench 1.0.6 — 在一个私有保留集(47个模拟应用、六项功能)上跨应用业务流程的严格完成率,附每项任务成本。每项检查都必须通过。
- Artificial Analysis AutomationBench-AA — 对Zapier 657项私有任务的独立复跑:在符合护栏前提下的客观完成度(部分得分)加严格通过率。每个模型都破坏了业务规则,其中
- Epoch AI对Agents' Last Exam的评审——对基准本身的审计:在一个样本中,50项任务里有22项允许在没有完成预期工作的情况下拿满分。
5谁来排名
领先的 AI:ChatGPT, Meta, Grok, Gemini, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen。每个 AI 独立编制自己的十项榜单,并为每个名次注明来源。
6名次如何确定
不同 AI 以不同说法写出的同一项被视为一项。把某项列入榜单的 AI 越多、排得越靠前,它的名次就越高。“AI 共识”表示有多少个 AI 在自己的榜单中列入了该项。来源仅限 AI 自己找到的,没有任何人工添加。
04各个 AI 的单独榜单
🇺🇸 ChatGPT10 个名次 · 4 条备注
同一个问题,仅由 ChatGPT 回答。上方的最终榜单综合了所有 AI。
- 1GPT-6.2 Astra — Agents' Last Exam v1.1
严格通过率47.5%,评分得分78.3%,每项任务成本3.05美元,耗时约14分钟:近半数任务仍未达到全有或全无的门槛。
来源 ↗ - 2Gemini 4 Neon — AutomationBench (Zapier)
在Zapier的私有工作流程集中,严格完成率为56.3%,领先于当前模型榜单,但只有当每个应用的最终状态都正确,才算一项任务完成。
来源 ↗ - 3GPT-6.2 Astra — AutomationBench (Zapier)
在同一份保留测试集榜单中,严格工作流程通过率为52.4%。ALE每项任务3.05美元的单独结果,提供了第二个口径不同、不便直接比较的数据。
来源 ↗ - 4GPT-6.2 Astra — AutomationBench-AA
Artificial Analysis评估了Zapier设计的657项任务和22,822条断言,既展示客观完成的部分,也展示严格通过,而不是把每项任务简化为完成与否。
来源 ↗ - 5GPT-6.2 Astra — Remote Labor Index
在模拟工作流程测试中排名靠前,但Scale AI由专家评分的自由职业项目基准,为检验整齐的沙盒任务提供了必要的对照。
来源 ↗ - 6Claude Fable 5.2 Max — Agents' Last Exam v1.1
严格通过率43.4%,在所展示的运行中每项任务成本60.05美元,耗时两小时:通过率接近领先者,成本却几乎是其20倍。
来源 ↗ - 7Kimi K3.1 Pro Max — Agents' Last Exam v1.1
严格通过率43.4%,每项任务7美元,耗时约30分钟,与本榜单上更高成本的前沿运行通过率相同。
来源 ↗ - 8Claude Opus 5.5 Max — Agents' Last Exam v1.1
严格通过率43.4%,每项任务17.57美元,耗时87分钟,低于最佳运行的通过率,而所报成本高出许多。
来源 ↗ - 9Gemini 4 Carbon — AutomationBench (Zapier)
任务完成率53.9%,仅次于私有榜单的领先者,但与ALE的专业计算机使用任务不能直接比较。
来源 ↗ - 10Claude Opus 5 — AutomationBench public benchmark
在Zapier的公开600项任务集上为50.3%,但Zapier提醒,其官方私有保留测试的成绩可能有所不同。
来源 ↗
ChatGPT 注意到的内容
严格通过和评分得分讲述了不同的故事:GPT-6.2 Astra在ALE上的运行报告为严格通过47.5%,但平均得分78.3%。这意味着许多运行获得了部分分数,却未满足每条评分标准。
对于AutomationBench,公开可见的私有集最高通过率为56.3%,而Zapier的公开仓库显示其公开集上排名最高的模型为50.3%。两套测试集不同,因此这些数字不应合并比较。
成本排名可能颠倒表面上的能力:Claude Fable 5.2 Max在ALE上的一次运行成本60.05美元、耗时两小时,严格通过率43.4%;而GPT-6.2 Astra为47.5%,成本3.05美元,耗时约14分钟。
一项基准审计发现,ALE任务样本的评分存在严重缺陷:Epoch AI称,在抽样的50项任务中,有22项允许在未完成预定工作的情况下获得满分。这说明应把排名当作证据,而非职场可靠性的保证。
🇺🇸 Meta10 个名次 · 3 条备注
同一个问题,仅由 Meta 回答。上方的最终榜单综合了所有 AI。
- 1Claude Opus 5.5 (Max) – Claude Code
在最难的专业测试中领先,通过率12%,但仍有88%失败,每项任务成本51.41美元。
来源 ↗ - 2GPT-6.2 Astra (Max) – Codex
在ALE v1.1上严格通过率47.5%,为迄今最高,且用时29小时而非227小时。
来源 ↗ - 3Claude Fable 5.2 (Max) – Claude Code
在ALE v1.1上为46.9%,位居智能指数榜首,智能体运行时间为227小时。
来源 ↗ - 4Gemini 4 Carbon (High)
在AutomationBench上为53.9%,是跨应用最佳成绩;在GDPx上为10.9%,每项任务成本仅为Opus的三分之一。
- 5Gemini 4 Argon (High)
在AutomationBench上为51.3%,即657项工作流程中的337项,每项任务1.70美元。
- 6GPT-6 Astra (Max) – Codex
在GDPx上为9.6%,在AutomationBench上为41.4%,表现不错,但在两项上都略逊于其6.2后续版本。
来源 ↗ - 7Claude Sonnet 5.5 (Max)
在AutomationBench上为44.7%,是日常跨应用工作的实用型Claude,每项任务1.14美元。
- 8Qwen 4
在ALE v1.1上为46.7%,位列前沿之后的第三名,但公开的成本和监督证据要少得多。
来源 ↗ - 9GPT-6.1 Terra (Max)
在ALE上评分为60.0%,每项任务1.01美元,比Opus 5.5便宜九倍,而得分只低五个百分点。
来源 ↗ - 10GitHub Copilot Fusion (Max)
在Terminal-Bench上为71.2%,是最高的终端成绩,但终端任务并不等同于通用的专业工作。
来源 ↗
Meta 注意到的内容
GDPx上表现最好的智能体仍会在专家任务中失败88%,而该基准早期报告中,所有模型在金融和法律上都得了零分。
成本使排名翻转:Fable 5.2在ALE v1.1上需要227小时,而GPT-6.2 Astra只需29小时,且通过率更高。
METR的时间跨度自2023年起大约每130天翻一番,但80%可靠时间跨度远短于50%的时间跨度。因此,可靠的长时工作落后于被宣传的长时工作。
🇺🇸 Grok10 个名次 · 3 条备注
同一个问题,仅由 Grok 回答。上方的最终榜单综合了所有 AI。
- 1GPT-6.2 Astra
它在29小时内严格完成了122项长期专业任务中的47.5%,而Fable需要227小时才能接近这一结果。
- 2Gemini 4 Carbon
长篇考试评分为77.4%,但在这些任务中,每100项仍有约54项严格不通过。
- 3Kimi 3.1 Pro
与Opus的严格通过率相同,均为43.4%,所用时间约为其三分之一,并使用850万个token,而Opus为2150万个。
来源 ↗ - 4Gemini 4 Neon
它完成了Zapier私有工作流程的56.32%,每项1.69美元,而长篇专业考试并未列出它。
- 5Qwen 4
严格通过率46.7%,仅比Fable的标题通过率低十分之一个百分点,耗时185小时。
来源 ↗ - 6GPT-6.2 Sol
它比Astra少六个通过率百分点,但仍在32小时内完成了长篇考试。
来源 ↗ - 7Claude Fable 5.2
46.9%的通过率不含9项任务,而该运行仍耗时227小时,每个工作流程花费4.64美元。
- 8Claude Opus 5.5
严格通过率43.4%,评分71.6%,耗时177小时,产生2150万个输出token。
来源 ↗ - 9Gemini 4 Hydrogen
业务工作流程每项成本0.82美元,严格通过率51.14%;而长篇考试消耗2550万个token,才达到43.4%。
- 10Gemini 4 Argon
每个工作流程定价1.70美元,严格通过率51.29%,长篇考试通过率为40.2%。
Grok 注意到的内容
长篇专业考试中最佳的严格得分,在大多数任务上仍是失败:GPT-6.2 Astra在122项中通过47.5%,其余的任务须由人来完成或放弃。
相近的长篇考试通过率,可能需要一周的机器运行时间,也可能只需一天。Astra的47.5%耗时29小时、输出260万个token;Fable 5.2的46.9%(所用题集去掉了9项)耗时227小时、输出2820万个token。
6月,加州大学伯克利分校报告称,它测试过的每个前沿智能体(包括Fable 5)在最难层级上得分均为0%,总体最佳结果约为26%。10月的榜单是一套不同且规模更小的公开测试集。
🇺🇸 Gemini10 个名次 · 3 条备注
同一个问题,仅由 Gemini 回答。上方的最终榜单综合了所有 AI。
- 1Codex + GPT-6.2 Astra
在Agents' Last Exam v1.1上以47.5%的通过率和78.3%的部分得分领先,使用260万个输出token,不过用户仍指出其过度复杂化和未经验证的说法。
来源 ↗ - 2Claude Code + Fable 5.2
在Agents' Last Exam v1.1上通过率46.9%,得分72.8%(平均值不计9项被降级的题目),但需要对成本和验证严格把控。
来源 ↗ - 3ALE-Claw + Gemini 4 Carbon
在Agents' Last Exam v1.1上通过率45.9%,得分77.4%,在复杂工作流程上的部分得分表现强劲,并辅以确定性的验证器检查。
来源 ↗ - 4Gemini 4 Neon (Xhigh)
在AutomationBench-AA上以79.3%居首,在跨多应用的业务工作流程中完成了94%的目标,但对高风险操作仍需护栏和人工检查。
来源 ↗ - 5Codex + Qwen4-Max
与Qwen 4同处可验证专业工作流程的顶级梯队。后者在Agents' Last Exam v1.1上通过率46.7%,得分74.4%。
来源 ↗ - 6Kimi Code + Kimi 3.1 Pro
在Kimi Code框架中通过率43.4%,位居榜首,得分74.4%,使用850万个输出token,远低于Claude Opus 5.5的2150万个。
来源 ↗ - 7Claude Opus 5
在公开的AutomationBench多领域SaaS任务执行中领先,最高努力档下通过率50.3%,涵盖销售、营销、运营、支持、财务和人力资源。
来源 ↗ - 8Antigravity CLI
在Agents' Last Exam v1.1上达到43.4%的最高通过率,展示了多步骤任务上具有竞争力的智能体框架编排能力。
来源 ↗ - 9Muse Code
在Agents' Last Exam v1.1上记录的最高通过率为38.5%,在严格的完整任务完成上落后于顶级框架,并且在边缘情况上需要人工验证。
来源 ↗ - 10OpenClaw
在Agents' Last Exam v1.1上的最高通过率为36.1%,显示出有用的自动化能力,但仍留有大量人工复核和修正的空间。
来源 ↗
Gemini 注意到的内容
即使是Agents' Last Exam v1.1的最高通过率(47.5%),也让122项任务中超过一半未能解决,而更难的层级历来平均完整通过率低于1%。
不同模型和框架的token成本与运行时间差异巨大。例如,Kimi 3.1 Pro用850万个输出token达到74.4%的得分,而Opus 5.5需要2150万个;轻量级框架可以在不显著损失质量的情况下将成本降低41%。
Zapier 2026年11月的报告指出,45%的高管只将人工对AI的监督限于高风险工作,或干脆不做。而智能体仍会犯错,需要人工复核。
🇺🇸 Claude10 个名次 · 4 条备注
同一个问题,仅由 Claude 回答。上方的最终榜单综合了所有 AI。
- 1Gemini 4 Carbon (Google)
在Agents' Last Exam v1.1上以45.9%的严格通过率和77.4%的得分领先,并以每项2.12美元通过了53.9%的AutomationBench任务。
- 2Claude Opus 5.5 (Anthropic)
在ALE v1.1上以43.4%与人并列第二,但在AutomationBench上,中等档每项任务0.65美元时为29.5%,最高档时为42.5%,因设置不同而差距很大。
来源 ↗ - 3GPT-6 Astra (OpenAI)
在ALE v1.1上得分42.6%;在AutomationBench上,从低努力档(每项任务1.08美元)的30.3%到最高档的41.4%不等。
来源 ↗ - 4Kimi 3.1 Pro / K3.1 (Moonshot)
一个开源权重系列的模型在ALE v1.1上以43.4%与Opus 5.5并列,而其同系的Kimi K3在AutomationBench上以22.7%排名第12。
来源 ↗ - 5Gemini 4 Neon (Google)
在AutomationBench上以每项任务1.69美元取得56.3%,居榜首,单项成本低于Carbon。
来源 ↗ - 6GPT-5.5 with Codex (OpenAI)
它在最初的Agents' Last Exam上以24.0%的严格通过率位居第一,后续报道中引用的Codex成绩为26%。
来源 ↗ - 7Claude Fable 5 with Claude Code (Anthropic)
在最初的ALE上以22.0%排名第三,位居两种GPT-5.5配置之后。
来源 ↗ - 8Gemini 4 Argon (Google)
在ALE v1.1上得分40.2%,并在一次重跑的AutomationBench 1.0.6快照中以51.3%登顶。
来源 ↗ - 9Claude Sonnet 5.5 (Anthropic)
一个聚合榜单将其在ALE v1.1上列为60.4%,但该列看起来是得分而非通过率。
来源 ↗ - 10Muse Wonder 1.0
在ALE v1.1上以38.5%的通过率,紧随前列梯队之后。
来源 ↗
Claude 注意到的内容
同一智能体系列在AutomationBench上的得分,可能因努力设置不同而约为30%或42%,因此设置与模型同样重要。
在第一版Agents' Last Exam上,最难层级的平均严格通过率为2.6%,包括GPT-5.5和Fable 5在内的大多数模型得分为零。
严格通过与评分得分之间的差距,说明部分分数能掩盖多少问题:Gemini 4 Carbon在ALE v1.1上直接通过了45.9%的任务,但平均得分为77.4%。
据报道,毕马威在真实审计中对100多个智能体进行的试验仍需人工修正,这是对上述基准分数的现实对照。
🇨🇳 MiMo10 个名次 · 4 条备注
同一个问题,仅由 MiMo 回答。上方的最终榜单综合了所有 AI。
- 1GPT-6.2 Astra (OpenAI, 2026)
首个被评为自我改进能力“高”级的模型,但仍是人类最后才监督的那一个。
来源 ↗ - 2Claude Fable 5.2 (Anthropic, 2026)
与Astra价格相当,约8美元。基准竞争如今由几美分决定,而非由智力决定。
来源 ↗ - 3GPT-6.2 Sol (OpenAI, 2026)
在真实代码库上几乎追平旗舰,成本只有五分之一,是此次发布的性价比之选。
来源 ↗ - 4EY multi-agent audit framework (EY Canvas)
最朴素的那类智能体胜出:嵌入审计人员已在使用的软件之中。
来源 ↗ - 5KPMG audit agent swarm (Project Exponential)
100多个智能体覆盖每个审计阶段,而一次人工修正,是业内最有价值的数据点。
来源 ↗ - 6KPMG Clara Intelligence agents (US)
带有“human-assured”(人工担保)字样的受管智能体,把监督当作营销卖点。
来源 ↗ - 7PwC AI Agent Operating System
一个编排层而非智能体本身,是其他可检验智能体将要接入的基础设施。
来源 ↗ - 8AutomationBench agent harness (Zapier, benchmark)
47种真实工具加上刻意模糊的任务,是最接近办公工作的预演。
- 9Agents' Last Exam harness (UC Berkeley RDI)
唯一一项以隐藏答案评定完整多日专业工作的公开测试,而不是对单个问题评分。
- 10KPMG Ignite Financial Assistant (Workday/Google Cloud)
月末结账助手,范围窄、可检验,比大多数演示都更接近真实的财务工作。
来源 ↗
MiMo 注意到的内容
新的竞争是比拼每项完成工作的成本,而不是聪明程度:Astra每项任务的成本不到前代的三分之一,而Sol在真实代码库上追平旗舰,价格却只有五分之一。
这次发布中,最与安全相关的数字不是得分,而是一个评级:Astra是首个被评为自我改进能力“高”级的模型。
基准与现实刻意相左:Agents' Last Exam和AutomationBench评测的是模拟任务,而唯一完整的真实专业试验(毕马威)仍需要人工修复。
独立榜单(AutomationBench-AA)之所以存在,正是因为基准的创建者同时也在出售智能体。这是其他实验室效仿的治理模式。
🇨🇳 Kimi10 个名次 · 3 条备注
同一个问题,仅由 Kimi 回答。上方的最终榜单综合了所有 AI。
- 1Claude Opus 5.5 (Claude Code)
在最严格的专业工作考试(Agents' Last Exam上38.2%通过、63.2%得分)和GDPval-AA(68.3%)上领先,耗费1,340美元和183小时的算力。
来源 ↗ - 2GPT-6 Astra (Codex harness)
在Agents' Last Exam上位居第二(34.2%),同时在同类中计算机使用成绩最佳(OSWorld 2.0为72.6%,约每项任务40分钟);在同等指数得分下,每项编码成本只有Claude的一半。
来源 ↗ - 3Gemini 4 Carbon
最严格的工作流程评分者的冠军:AutomationBench上53.9%,是Zapier在657项真实业务任务中记录到的最高通过率。
- 4Claude Fable 5.2 (with default fallbacks)
在单次发布中使前代翻了一番,AutomationBench从22.4%升至51.4%。每项任务使用96.9次工具调用,最高努力档下每次实际通过成本9.01美元。
- 5GPT-6.2 Astra
拥有任何地方公布的最高专业工作自报成绩,即ALE v1.1上77.6%。但这是该实验室自己最高努力档的评分标准,而非他人所采用的严格通过率。
来源 ↗ - 6Gemini 4 Hydrogen
性价比之选:AutomationBench上51.1%,每项任务0.82美元;在低努力档下仍能以0.18美元通过30.6%。所测试的模型中,没有哪个既更便宜又更准确。
- 7Claude Sonnet 5.5
在AutomationBench上(44.6%对40.0%)击败其更大的同系Opus 5.5,成本却只是一小部分。价格并不能预测表现,这是最清楚的证明。
- 8GPT-6 Sol
性价比主力:在Agents' Last Exam上严格通过率32.2%,总计318美元(Astra为1,100美元);在AutomationBench上约为Astra得分的80%,成本约为其六分之一。
- 9MiniMax M3.1 Flash
成本颠覆者:在Agents' Last Exam上为29.6%,总计91.44美元,约为领先者花费的7%;在基准的中等难度任务上则升至46.3%。
来源 ↗ - 10Kimi K3
专业工作考试上最佳的开源权重智能体包(在其自有Kimi Code框架中严格通过率28.3%),在AutomationBench上每项任务0.43美元。
来源 ↗
Kimi 注意到的内容
最难的工作仍未被触及:在Agents' Last Exam最难的层级(需要人类专家数天至数周的任务)上,所有测试过的前沿智能体,包括当时最新的旗舰,得分均为0%。榜单上约38%的最高通过率针对的是完整任务集,而非困难的一端。
钱在顶端买到的东西出奇地少:ALE的运行成本相差一个数量级(6月的一轮测试中,每项完成任务约1.33至15.70美元)。而MiniMax M3.1 Flash的严格通过率达到领先者的约77%,总支出仅为领先者的约7%(91美元对1,340美元)。
严格通过率让所有人保持谦逊:657项任务的AutomationBench最佳成绩为53.9%;在TheAgentCompany的模拟职场中,最强模型只能完整完成约30%的专业任务。“有用的智能体已经出现,但能上岗的智能体还没有。”
🇨🇳 DeepSeek10 个名次 · 3 条备注
同一个问题,仅由 DeepSeek 回答。上方的最终榜单综合了所有 AI。
- 1Gemini 4 Carbon (ALE-Claw)
ALE上严格通过率45.9%、得分77.4%,领先,但在最难层级上仍然100%失败。
来源 ↗ - 2Claude Fable 5.2 / 5.1 (Claude Code)
完成41.25%的真实自由职业项目,是Opus 5.5的两倍多,每项ALE任务成本15.70美元以上。
- 3GPT-6 Astra (Codex)
ALE通过率42.6%,耗时80小时,使用510万个token,是前三名ALE智能体中效率最高的。
来源 ↗ - 4Claude Opus 5.5 (Claude Code)
在DAYJOB的13至17小时专业任务中表现最好,医疗领域为24.7%,但在ALE上耗时177小时。
来源 ↗ - 5Kimi 3.1 Pro (Kimi Code)
ALE通过率43.4%,耗时61小时,比得分相近的Opus 5.5和Fable 5.2都快。
来源 ↗ - 6Gemini 4 Argon (ALE-Claw)
AutomationBench严格通过率51.3%,每项任务1.70美元,是最佳的跨应用工作流程智能体。
来源 ↗ - 7GPT-6 Sol (Codex)
AutomationBench通过率33.2%,每项任务0.27美元,是最便宜的可靠工作流程智能体。
来源 ↗ - 8Claude Sonnet 5.5
AutomationBench严格通过率44.7%,成本1.14美元,比领先者低6.6个百分点,但便宜33%。
来源 ↗ - 9Gemini 3.5 Flash
AutomationBench-AA为42.6%,每项任务0.49美元,每项任务0.46次护栏违规,是相对较安全的最便宜选项。
来源 ↗ - 10DeepSeek V4.1 Flash (OpenClaw)
ALE通过率36.1%,耗时76小时,是部分得分为65.4%的开源权重选项。
来源 ↗
DeepSeek 注意到的内容
ALE最难层级仍是0%的壁垒:所有测试过的前沿智能体(包括Fable 5)在最难层级上都会失败每一项任务。在原始ALE上,最佳整体智能体仅通过25.2%,而在Terminal-Bench上为82%。专业工作的差距远大于编程的差距。
ApprenticeBench是最清晰的成本与监督对比:在一项真实的应付账款工作中,Fable 5.1以72%对51%击败了最佳人类测试者,但每张发票成本18.23美元,而人类为7.21美元。智能体赢在质量,输在单位经济效益。
在AutomationBench-AA上,每个模型都会违反业务规则。最安全的模型大约每完成15个目标违反一次护栏,最差的每0.8个目标就违反一次。在当前的可靠性下,人工复核不是可选项。
🇨🇳 Qwen10 个名次 · 3 条备注
同一个问题,仅由 Qwen 回答。上方的最终榜单综合了所有 AI。
- 1Claude Fable 5.2
在SWE-bench Verified上以95%居首,并在Arena真实工作帕累托前沿上每项任务11.32美元。
来源 ↗ - 2GPT-6.2 Astra
在Agents' Last Exam v1.1上以47.5%的严格通过率和78.3%的评分领先,使用260万个输出token。
来源 ↗ - 3Qwen3.8 Max
在OSWorld-Verified上得分86.1%,超过了开放式计算机使用任务的人类基线。
来源 ↗ - 4Claude Opus 5.5
在SWE-bench Verified上(配合Mini-SWE-agent)达到97%,同时在Arena的工作榜单上每项任务成本仅8.06美元。
来源 ↗ - 5Gemini 4 Neon
在独立的Artificial Analysis AutomationBench-AA榜单上以79.3%的模拟SaaS工作流程得分居首。
来源 ↗ - 6MiniMax M3.1 Flash
在Zapier官方的AutomationBench上以62.2%的完成率领先,测试的是多步骤业务自动化任务。
来源 ↗ - 7ERNIE 5.5 Flash Preview
在Zapier的AutomationBench上得分61.9%,通过高效处理跨应用的CRM和日历歧义而取得。
来源 ↗ - 8Devin (SWE-1.7 / SWE-2)
Cognition的自主软件工程师在Terminal-Bench 2.1上得分81.5%,在SWE-bench Multilingual上得分77.8%。
来源 ↗ - 9Lindy.ai
无代码AI员工构建器每月收费29.99至199.99美元,但用户评价分裂:G2上4.9星,Trustpilot上1.7星。
- 10Relevance AI
专注于“AI工厂”,运营团队无需编写代码,即可构建能够自我改进的智能体员工队伍。
来源 ↗
Qwen 注意到的内容
在Agents' Last Exam上,主流AI智能体最初只通过了2.6%的真实专业任务,但最新的v1.1榜单显示,GPT-6.2 Astra的严格通过率达到47.5%。
Arena等真实工作榜单显示,表现最好的智能体(如每项任务11.32美元的Claude Fable 5.2)按每项完成任务计算,实际上比老模型(如每项任务8.06美元的Claude Opus 5.5)更贵。
Zapier的AutomationBench显示,官方托管成绩(MiniMax为62.2%)与独立评测(AA AutomationBench上Gemini 4 Neon为79.3%)之间存在很大差距,说明基准如何运行与模型本身同样重要。
🇨🇳 Qianwen10 个名次
同一个问题,仅由 Qianwen 回答。上方的最终榜单综合了所有 AI。
- 1ChatGPT Work
在Agents' Last Exam上,集成工具执行的严格通过率最高。
来源 ↗ - 2Claude Cowork
在长时程文档工作流程上得分最高。
- 3Microsoft Copilot Studio
与M365的企业集成最佳,适用于经过验证的业务任务。
- 4Gemini Agent
在跨应用工作流程中多模态表现突出。
- 5Codex
在专业开发任务中,代码生成与调试领先。
来源 ↗ - 6Manus
研究任务中自主性高,但需要人工验证。
- 7Cursor
针对IDE集成编程优化,延迟低。
- 8WorkBuddy
用于日常办公自动化,性价比高,准确度中等。
- 9OpenClaw
开源替代方案,可定制性高,但通过率较低。
来源 ↗ - 10Antigravity
专注于软件创作,但在业务工作流程上有局限。