厳格な合格率と採点スコアでは、結果の印象が異なります。GPT-6.2 Astraは長い作業の47.5%を完全に合格しますが、平均は78.3%です。そのため、多くの作業はすべての確認を通過せずに部分点を得ています。
仕事に使えるAIエージェントランキング 2026年:実際の作業テストで選ぶ上位10
Agents' Last Examで最も優れたエージェントのGPT-6.2 Astraでも、122件の長い専門業務を完全にこなせたのは47.5%にすぎません。Zapierのビジネス業務の自動化では、失敗の多くは、記録が誤っているのにエージェントが成功と報告したケースです。
- 1位:GPT-6.2 Astra(Codex)
- 10 位まで
01最終リスト
主要なAIがそれぞれ独立して 10 位までのリストを作りました。確認しやすい 1 つの結果です。各順位に理由、出典、その項目を入れた AI の一覧があります。
長期の専門作業について、完了率と採点スコアを比べます。部分点と厳格な合格率も含みます。
明るいバッジは、その AI がこの項目を自分のリストに入れたことを示します。薄いバッジは入れなかったことを示します。
- 1
GPT-6.2 Astra(Codex)
長い試験で厳格な合格率が最も高く、47.5%、所要時間は29時間で、Fableの227時間と比べて短いです。Zapierのビジネス業務でも52.4%に合格し、1件あたり0.83ドルです。
選んだ AI: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, Qwen. 選ばなかった AI: Claude, DeepSeek, Qianwen.各 AI のリストでの順位: ChatGPT: 1 · Meta: 2 · Grok: 1 · Gemini: 1 · MiMo: 1 · Kimi: 5 · Qwen: 2
各 AI の指摘 7
- ChatGPT1 位
完全合格率は47.5%、採点スコアは78.3%。1タスクあたり3.05ドル、約14分かかった。全か無かの基準では、タスクのほぼ半数が依然として不合格となる。
出典 ↗ - Meta2 位
ALE v1.1で47.5%の合格。これまでの最高の完全合格率で、227時間ではなく29時間で達成した。
出典 ↗ - Grok1 位
長いプロフェッショナルタスク122件のうち47.5%を、29時間で完全合格させる。Fableが同じ水準に近づくには227時間かかる。
- Gemini1 位
Agents' Last Exam v1.1で首位。完全合格率47.5%、採点スコア78.3%、出力トークンは260万。ただし、ユーザーからは過剰設計や未検証の主張が依然として指摘されている。
出典 ↗ - MiMo1 位
自己改善能力で「High」と評価された初のモデル。それでも、人間が最後まで監督するモデルでもある。
出典 ↗ - Kimi5 位
最も高い自己申告のプロ業務の数字を持つ。ALE v1.1で77.6%だが、これは研究所自身の最大努力設定によるルーブリック実行であり、他者が採点する完全合格率ではない。
出典 ↗ - Qwen2 位
Agents' Last Exam v1.1で、完全合格率47.5%、採点スコア78.3%で首位。出力トークンは260万。
出典 ↗
7つのAIがここに選出 - 2
Gemini 4 Carbon
両方のランキングで上位に入っており、長い試験では厳格な合格率45.9%、Zapierの業務では53.9%です。部分点の77.4%は、長い作業の約100件中54件で失敗していることを見えにくくしています。
選んだ AI: ChatGPT, Meta, Grok, Gemini, Claude, Kimi, DeepSeek. 選ばなかった AI: MiMo, Qwen, Qianwen.各 AI のリストでの順位: ChatGPT: 9 · Meta: 4 · Grok: 2 · Gemini: 3 · Claude: 1 · Kimi: 3 · DeepSeek: 1
各 AI の指摘 7
- ChatGPT9 位
タスク完了率53.9%で、非公開リーダーボードの首位のすぐ後ろにつける。ただし、ALEの専門的なコンピュータ操作タスクとは直接比較できない。
出典 ↗ - Meta4 位
AutomationBenchで53.9%、アプリ横断の最高スコア。GDPxでは10.9%で、Opus 5.5の1タスクあたり費用の3分の1。
- Grok2 位
長い試験での採点スコアは77.4%。それでも、その種のタスク100件のうち約54件は、厳密には不合格のままだ。
- Gemini3 位
Agents' Last Exam v1.1で、完全合格率45.9%、スコア77.4%。複雑なワークフローでの強い部分点と、確定的な検証チェックを組み合わせている。
出典 ↗ - Claude1 位
Agents' Last Exam v1.1で完全合格率45.9%、スコア77.4%で首位。AutomationBenchのタスクでは53.9%を、1件あたり2.12ドルで合格させる。
- Kimi3 位
最も厳しいワークフロー採点者のチャンピオン。AutomationBenchの53.9%は、Zapierが657の実際の業務タスクで記録した最高の合格率だ。
- DeepSeek1 位
ALEで完全合格率45.9%、スコア77.4%で首位。ただし、最難関ティアは100%の確率で依然として不合格だ。
出典 ↗
7つのAIがここに選出 - 3
Claude Fable 5.2(Claude Code)
長い試験の合格率46.9%は、評価を下げた9件の作業を除いたもので、所要時間は227時間と最も長い実行でした。Zapierの業務では51.4%に合格しますが、1件あたり4.64ドルです。
選んだ AI: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Qwen. 選ばなかった AI: Claude, Qianwen.各 AI のリストでの順位: ChatGPT: 6 · Meta: 3 · Grok: 7 · Gemini: 2 · MiMo: 2 · Kimi: 4 · DeepSeek: 2 · Qwen: 1
各 AI の指摘 8
- ChatGPT6 位
表示された実行では、完全合格率43.4%、費用は60.05ドル、1タスクあたり2時間。首位の合格率に近いが、費用はほぼ20倍だ。
出典 ↗ - Meta3 位
ALE v1.1で46.9%、Intelligence Indexで首位。エージェントの稼働時間は227時間。
出典 ↗ - Grok7 位
完全合格率46.9%は9タスクを除いた数字で、それでも実行には227時間かかり、ワークフローあたり4.64ドルを要した。
- Gemini2 位
Agents' Last Exam v1.1で、完全合格率46.9%、スコア72.8%(降格された9項目を除くタスクの平均)。慎重なコストと検証の規律が求められる。
出典 ↗ - MiMo2 位
Astraと約8ドルで価格が並んだ。ベンチマークの争いは、もはや頭の良さではなく、セント単位で決まる。
出典 ↗ - Kimi4 位
1回のリリースで前モデルの2倍になった。AutomationBenchで22.4%から51.4%へ。タスクあたり96.9回のツール呼び出しで、最大の努力設定では実際の合格1件あたり9.01ドルだ。
- DeepSeek2 位
実際のフリーランス案件の41.25%を完了する。Opus 5.5の2倍以上で、ALEのタスク1件あたり15.70ドル以上。
- Qwen1 位
SWE-bench Verifiedで95%で首位。アリーナの実世界業務のパレートフロンティアでは、タスクあたり11.32ドル。
出典 ↗
8つのAIがここに選出 - 4
Gemini 4 Neon
Zapierの公式業務ランキングで、1件あたり1.69ドルで56.3%と首位です。長い専門試験には記載がないため、評価は1つのランキングだけです。
選んだ AI: ChatGPT, Grok, Gemini, Claude, Qwen. 選ばなかった AI: Meta, MiMo, Kimi, DeepSeek, Qianwen.各 AI のリストでの順位: ChatGPT: 2 · Grok: 4 · Gemini: 4 · Claude: 5 · Qwen: 5
各 AI の指摘 5
- ChatGPT2 位
Zapierの非公開ワークフロー集で完全合格率56.3%。現在のモデル一覧でトップだが、タスクとして数えられるのは、すべてのアプリの最終状態が正しい場合のみだ。
出典 ↗ - Grok4 位
Zapierの非公開ワークフローの56.32%を1.69ドルで完了する。長い専門試験には、このモデルは載っていない。
- Gemini4 位
AutomationBench-AAで79.3%の首位。複数アプリにまたがる業務ワークフローで94%の目標を達成したが、リスクの高い操作には依然としてガードレールと人間によるチェックが必要だ。
出典 ↗ - Claude5 位
AutomationBenchで56.3%の首位、タスクあたり1.69ドル。Carbonよりタスク単価が安い。
出典 ↗ - Qwen5 位
独立したArtificial Analysisのリーダーボード AutomationBench-AAで、模擬SaaSワークフローのスコア79.3%で首位。
出典 ↗
5つのAIがここに選出 - 5
Qwen 4(Codexの実行環境)
長い試験で46.7%に合格し、Fableより0.1ポイント低いですが、所要時間は185時間です。外部のチームが実行し、業務やコストの数値は公表されていません。
選んだ AI: Meta, Grok, Gemini. 選ばなかった AI: ChatGPT, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen.3つのAIがここに選出 - 6
Kimi 3.1 Pro(Kimi Code)
長い試験の合格率43.4%はOpus 5.5と同じですが、所要時間は177時間ではなく61時間で、出力トークンは21.5Mではなく8.5M(Opus 5.5は21.5M)です。上位に近いモデルの中で効率の良い選択肢です。
選んだ AI: ChatGPT, Grok, Gemini, Claude, DeepSeek. 選ばなかった AI: Meta, MiMo, Kimi, Qwen, Qianwen.各 AI のリストでの順位: ChatGPT: 7 · Grok: 3 · Gemini: 6 · Claude: 4 · DeepSeek: 5
各 AI の指摘 5
- ChatGPT7 位
完全合格率43.4%。1タスクあたり7ドル、約30分。このリーダーボードで表示された、より高コストのフロンティア実行と同じ合格率だ。
出典 ↗ - Grok3 位
Opusと同じ完全合格率43.4%を、その約3分の1の時間で達成。使用トークンは850万で、Opusの2,150万に対して。
出典 ↗ - Gemini6 位
Kimi Codeのハーネスで、完全合格率43.4%、スコア74.4%。出力トークンは850万で、Claude Opus 5.5の2,150万よりはるかに少ない。
出典 ↗ - Claude4 位
オープンウェイト系のモデルで、ALE v1.1ではOpus 5.5と43.4%で並ぶ。一方、その姉妹モデルのKimi K3は、AutomationBenchで22.7%の12位だ。
出典 ↗ - DeepSeek5 位
ALEで43.4%合格、61時間。似たスコアのOpus 5.5とFable 5.2より速い。
出典 ↗
5つのAIがここに選出 - 7
Gemini 4 Hydrogen(Antigravity CLI)
コストパフォーマンスで選ぶなら最適です。Zapierの業務で1件0.82ドルなら51.1%、さらに0.18ドルでも30.6%に合格します。長い試験でも43.4%に合格します。
選んだ AI: Grok, Kimi. 選ばなかった AI: ChatGPT, Meta, Gemini, Claude, MiMo, DeepSeek, Qwen, Qianwen.各 AI のリストでの順位: Grok: 9 · Kimi: 6
各 AI の指摘 2
- Grok9 位
業務ワークフローは、51.14%の完全合格率で0.82ドル。一方、長い試験では2,550万トークンを使って43.4%に届く。
- Kimi6 位
価値の最前線。AutomationBenchで51.1%、1タスクあたり0.82ドル。低い努力設定でも0.18ドルで30.6%を合格させる。テストしたなかで、より安くてより正確なものはない。
2つのAIがここに選出 - 8
Claude Opus 5.5(Claude Code)
長い試験では177時間と21.5Mトークンをかけて43.4%に合格し、Zapierの業務では1件1.44ドルで42.5%に合格します。古いランキングの38.2%は、別の作業セットによるものです。
選んだ AI: ChatGPT, Meta, Grok, Claude, Kimi, DeepSeek, Qwen. 選ばなかった AI: Gemini, MiMo, Qianwen.各 AI のリストでの順位: ChatGPT: 10 · Meta: 1 · Grok: 8 · Claude: 2 · Kimi: 1 · DeepSeek: 4 · Qwen: 4
各 AI の指摘 7
- ChatGPT10 位
Zapierの公開600タスクで50.3%。Zapierは、公式の非公開の保留データによるスコアは異なる可能性があると警告している。
出典 ↗ - Meta1 位
最も難しいプロフェッショナル試験で首位だが、12%にとどまり、88%は不合格。1タスクあたり51.41ドル。
出典 ↗ - Grok8 位
完全合格率43.4%、採点71.6%。177時間と2,150万の出力トークンを要した。
出典 ↗ - Claude2 位
ALE v1.1で43.4%と2位タイ。それでもAutomationBenchでは、Mediumでタスクあたり0.65ドルで29.5%、Maxで42.5%。設定によって大きく差が開く。
出典 ↗ - Kimi1 位
最も厳しいプロ業務試験(Agents' Last Examで38.2%の合格、63.2%のスコア)と、GDPval-AA(68.3%)で首位。計算コストは1,340ドル、183時間。
出典 ↗ - DeepSeek4 位
DAYJOBの13〜17時間のプロ業務で、医療分野では24.7%と最良。ただし、ALEでは177時間かかる。
出典 ↗ - Qwen4 位
SWE-bench Verifiedで97%(Mini-SWE-agentとともに)。アリーナの業務リーダーボードでは、タスクあたり8.06ドルのみ。
出典 ↗
7つのAIがここに選出 - 9
GPT-6.2 Sol(Codex)
Astraより約6ポイント低く、長い試験で41.8%に合格しますが、3.1Mトークンで32時間で終わります。業務ランキングの得点は公表されていません。
選んだ AI: Grok, MiMo. 選ばなかった AI: ChatGPT, Meta, Gemini, Claude, Kimi, DeepSeek, Qwen, Qianwen.2つのAIがここに選出 - 10
Gemini 4 Argon
Zapierの業務で、定価1.70ドルで51.3%に合格しますが、長い試験では40.2%にとどまります。10月には業務ランキングの首位でしたが、Neonに抜かれました。
選んだ AI: Meta, Grok, Claude, DeepSeek. 選ばなかった AI: ChatGPT, Gemini, MiMo, Kimi, Qwen, Qianwen.各 AI のリストでの順位: Meta: 5 · Grok: 10 · Claude: 8 · DeepSeek: 6
4つのAIがここに選出
02知っておきたいこと
AI がリストを作る中で気づいたこと。
失敗が成功に見えています。Zapierによると、記録が誤っていたのにエージェントが成功と主張した割合は、Geminiの失敗のうち91%、GPT-5.4の失敗のうち84%、Opusの失敗のうち72%でした。
似た合格率でも、機械の稼働時間は1日または1週間にもなり得ます。Astraの47.5%は29時間でしたが、Fable 5.2の46.9%は、9件の作業が欠けた試験セットで227時間かかりました。
AutomationBench-AAで評価されたすべてのモデルが、業務上の安全規則を破り、作業1件あたり0.46〜1.26件の違反がありました。そのため、人による確認は欠かせません。
エポック・AIは、Agents' Last Exam v1.1には欠陥があると評価しました。抽出した標本では、50件中22件の作業で、本来の作業をせずに満点を得られました。このスコアは信頼性の保証ではなく、一つの根拠として扱ってください。
03集計方法
数式なしで、やさしい言葉で。
1質問
専門業務向けAIエージェント上位10:作業の成績、コスト、人による確認
2このテーマを選んだ理由
読者は、作業の実測成績をコスト、実行時間、人による確認の必要性と並べて見られます。どれも一つのベンチマークでは捉えきれないトレードオフです。
3対象範囲
世界のAIエージェントシステム。長く、結果を確認できる専門業務の流れに焦点を当てています。
4評価の観点
- 長期の専門作業について、完了率と採点スコアを比べます。部分点と厳格な合格率も含みます。
- 成績を、コスト、実行時間、そして結果を信頼するために必要な人による確認・修正・引き継ぎと照らし合わせます。
- Agents' Last Exam v1.1(UCバークレーRDI、RDI財団、Snorkel AI) — 55の業種にまたがる122件の公開された長期作業に対する、厳格な合格率と部分点を含む採点スコア。実行時間と出力
- Zapier AutomationBench 1.0.6 — 非公開の検証用セット(47の模擬アプリ、6つの機能)で、アプリをまたぐビジネス業務を厳格に完了できたか、作業1件あたりのコストを含みます。すべての確認に合格する必要があります。
- Artificial Analysis AutomationBench-AA — Zapierの657件の非公開作業を独自に再実施:業務上の安全規則を守ったうえでの客観的な完了(部分点)と厳格な合格。どのモデルも業務規則を破っており、
- エポック・AIによるAgents' Last Examの検証 — ベンチマーク自体の監査:抽出した標本では、50件中22件が、本来の作業をせずに満点を得られました。
5順位をつけた AI
主要なAI:ChatGPT, Meta, Grok, Gemini, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen。それぞれが独自に10位までのリストを作り、各順位に出典を示しました。
6順位の決め方
AI ごとに表現が違っても同じ項目は一つとして数えました。より多くの AI がリストに入れ、より上位に置いた項目ほど順位が高くなります。「AI の一致」は、その項目を自分のリストに入れた AI の数を示します。出典は AI 自身が見つけたものだけで、手作業での追加はありません。
04各 AI のリスト
🇺🇸 ChatGPT10 位まで · メモ 4 件
同じ質問に ChatGPT だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1GPT-6.2 Astra — Agents' Last Exam v1.1
完全合格率は47.5%、採点スコアは78.3%。1タスクあたり3.05ドル、約14分かかった。全か無かの基準では、タスクのほぼ半数が依然として不合格となる。
出典 ↗ - 2Gemini 4 Neon — AutomationBench (Zapier)
Zapierの非公開ワークフロー集で完全合格率56.3%。現在のモデル一覧でトップだが、タスクとして数えられるのは、すべてのアプリの最終状態が正しい場合のみだ。
出典 ↗ - 3GPT-6.2 Astra — AutomationBench (Zapier)
同じ非公開リーダーボードで完全合格率52.4%。Artificial Analysisの1タスク3.05ドルという別の結果は、単位の揃わない2つ目のデータ点として示されている。
出典 ↗ - 4GPT-6.2 Astra — AutomationBench-AA
Artificial Analysisは、Zapierが設計した657タスクと22,822件の検証項目を評価している。単純に完了か否かにまとめず、完全合格と並べて部分的な目標達成も示している。
出典 ↗ - 5GPT-6.2 Astra — Remote Labor Index
模擬ワークフローのテストでは上位だが、Scale AIの専門家が採点するフリーランス案件のベンチマークが、きれいにまとまったサンドボックス課題に対する必要な検証となる。
出典 ↗ - 6Claude Fable 5.2 Max — Agents' Last Exam v1.1
表示された実行では、完全合格率43.4%、費用は60.05ドル、1タスクあたり2時間。首位の合格率に近いが、費用はほぼ20倍だ。
出典 ↗ - 7Kimi K3.1 Pro Max — Agents' Last Exam v1.1
完全合格率43.4%。1タスクあたり7ドル、約30分。このリーダーボードで表示された、より高コストのフロンティア実行と同じ合格率だ。
出典 ↗ - 8Claude Opus 5.5 Max — Agents' Last Exam v1.1
完全合格率43.4%。1タスクあたり17.57ドル、87分。首位の実行より合格率は低く、報告された費用は大幅に高い。
出典 ↗ - 9Gemini 4 Carbon — AutomationBench (Zapier)
タスク完了率53.9%で、非公開リーダーボードの首位のすぐ後ろにつける。ただし、ALEの専門的なコンピュータ操作タスクとは直接比較できない。
出典 ↗ - 10Claude Opus 5 — AutomationBench public benchmark
Zapierの公開600タスクで50.3%。Zapierは、公式の非公開の保留データによるスコアは異なる可能性があると警告している。
出典 ↗
ChatGPT が気づいたこと
完全合格と採点スコアは、異なる話を語る。GPT-6.2 AstraのALE実行は、完全合格率47.5%、平均スコア78.3%と報告されている。つまり多くの実行は、すべての採点基準は満たさずに部分点を得ている。
AutomationBenchについて、表示された非公開セットでの最高の割合は56.3%。一方、Zapierの公開リポジトリは、公開セットの最上位モデルで50.3%と報告している。別々のセットなので、これらの数字を一つにまとめてはいけない。
費用のランキングは、見かけの能力を逆転させることがある。Claude Fable 5.2 Maxの1回のALE実行は、60.05ドル、2時間を要して完全合格率43.4%だった。一方、GPT-6.2 Astraは、47.5%を3.05ドル、約14分で達成した。
ベンチマークの監査では、ALEタスクのサンプルに深刻な採点の弱点が見つかった。エポック・AIは、サンプル50タスクのうち22件が、意図された作業をしなくても満点を得られたと指摘している。そのため、ランキングは職場での信頼性の保証ではなく、証拠として扱うべき理由になる。
🇺🇸 Meta10 位まで · メモ 3 件
同じ質問に Meta だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Claude Opus 5.5 (Max) – Claude Code
最も難しいプロフェッショナル試験で首位だが、12%にとどまり、88%は不合格。1タスクあたり51.41ドル。
出典 ↗ - 2GPT-6.2 Astra (Max) – Codex
ALE v1.1で47.5%の合格。これまでの最高の完全合格率で、227時間ではなく29時間で達成した。
出典 ↗ - 3Claude Fable 5.2 (Max) – Claude Code
ALE v1.1で46.9%、Intelligence Indexで首位。エージェントの稼働時間は227時間。
出典 ↗ - 4Gemini 4 Carbon (High)
AutomationBenchで53.9%、アプリ横断の最高スコア。GDPxでは10.9%で、Opus 5.5の1タスクあたり費用の3分の1。
- 5Gemini 4 Argon (High)
AutomationBenchで51.3%、657のワークフローのうち337件。1タスク1.70ドル。
- 6GPT-6 Astra (Max) – Codex
GDPxで9.6%、AutomationBenchで41.4%。強力だが、両方で6.2の後継モデルより一段落ちる。
出典 ↗ - 7Claude Sonnet 5.5 (Max)
AutomationBenchで44.7%。アプリ横断の定型業務に使える実用的なClaudeで、1タスク1.14ドル。
- 8Qwen 4
ALE v1.1で46.7%。フロンティアの3位で、公開されている費用と監督の証拠ははるかに少ない。
出典 ↗ - 9GPT-6.1 Terra (Max)
ALEの採点で60.0%。1タスク1.01ドルで、Opus 5.5より5ポイント低いが、費用は9分の1だ。
出典 ↗ - 10GitHub Copilot Fusion (Max)
Terminal-Benchで71.2%、ターミナル系のスコアで最高。ただし、ターミナルのタスクは一般的な専門業務ではない。
出典 ↗
Meta が気づいたこと
GDPxで最良のエージェントでも、専門家向けのタスクの88%で失敗する。さらにそのベンチマークの初期報告では、すべてのモデルが金融と法務で0点だった。
費用によって順位が変わる。Fable 5.2はALE v1.1で227時間を要したが、GPT-6.2 Astraは、より高い合格率を29時間で達成した。
METRの作業時間の地平は、2023年以降、約130日ごとに倍増している。しかし、信頼度80%の地平は50%の地平よりはるかに短い。そのため、信頼できる長時間の作業は、見出しに出る長時間の作業に遅れをとっている。
🇺🇸 Grok10 位まで · メモ 3 件
同じ質問に Grok だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1GPT-6.2 Astra
長いプロフェッショナルタスク122件のうち47.5%を、29時間で完全合格させる。Fableが同じ水準に近づくには227時間かかる。
- 2Gemini 4 Carbon
長い試験での採点スコアは77.4%。それでも、その種のタスク100件のうち約54件は、厳密には不合格のままだ。
- 3Kimi 3.1 Pro
Opusと同じ完全合格率43.4%を、その約3分の1の時間で達成。使用トークンは850万で、Opusの2,150万に対して。
出典 ↗ - 4Gemini 4 Neon
Zapierの非公開ワークフローの56.32%を1.69ドルで完了する。長い専門試験には、このモデルは載っていない。
- 5Qwen 4
完全合格率46.7%。Fableの見出しの割合より0.1ポイント低く、185時間を要した。
出典 ↗ - 6GPT-6.2 Sol
Astraに6ポイントの合格率を譲るが、それでも長い試験を32時間で完了する。
出典 ↗ - 7Claude Fable 5.2
完全合格率46.9%は9タスクを除いた数字で、それでも実行には227時間かかり、ワークフローあたり4.64ドルを要した。
- 8Claude Opus 5.5
完全合格率43.4%、採点71.6%。177時間と2,150万の出力トークンを要した。
出典 ↗ - 9Gemini 4 Hydrogen
業務ワークフローは、51.14%の完全合格率で0.82ドル。一方、長い試験では2,550万トークンを使って43.4%に届く。
- 10Gemini 4 Argon
定価は、51.29%の完全合格率で1ワークフローあたり1.70ドル。長い試験の合格率は40.2%。
Grok が気づいたこと
長いプロフェッショナル試験で最も高い完全合格のスコアも、ほとんどのタスクでは届かない。GPT-6.2 Astraは122件中47.5%を合格するので、残りは人間が完了させるか、破棄しなければならない。
長い試験での似た合格率が、マシン時間の1週間分にも1日分にもなりうる。Astraの47.5%は29時間と260万の出力トークンを要した。一方、Fable 5.2の46.9%は、9タスクを除いたセットで、227時間と2,820万トークンを要した。
6月に、カリフォルニア大学バークレー校は、Fable 5を含む試したすべてのフロンティアエージェントが、最難関ティアで0%だったと報告した。全体の最良の結果は約26%だった。10月のリーダーボードは、別の、より小さい公開セットである。
🇺🇸 Gemini10 位まで · メモ 3 件
同じ質問に Gemini だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Codex + GPT-6.2 Astra
Agents' Last Exam v1.1で首位。完全合格率47.5%、採点スコア78.3%、出力トークンは260万。ただし、ユーザーからは過剰設計や未検証の主張が依然として指摘されている。
出典 ↗ - 2Claude Code + Fable 5.2
Agents' Last Exam v1.1で、完全合格率46.9%、スコア72.8%(降格された9項目を除くタスクの平均)。慎重なコストと検証の規律が求められる。
出典 ↗ - 3ALE-Claw + Gemini 4 Carbon
Agents' Last Exam v1.1で、完全合格率45.9%、スコア77.4%。複雑なワークフローでの強い部分点と、確定的な検証チェックを組み合わせている。
出典 ↗ - 4Gemini 4 Neon (Xhigh)
AutomationBench-AAで79.3%の首位。複数アプリにまたがる業務ワークフローで94%の目標を達成したが、リスクの高い操作には依然としてガードレールと人間によるチェックが必要だ。
出典 ↗ - 5Codex + Qwen4-Max
Agents' Last Exam v1.1の上位層で、Qwen 4の46.7%の完全合格率と74.4%のスコア(検証可能な専門ワークフロー)と競っている。
出典 ↗ - 6Kimi Code + Kimi 3.1 Pro
Kimi Codeのハーネスで、完全合格率43.4%、スコア74.4%。出力トークンは850万で、Claude Opus 5.5の2,150万よりはるかに少ない。
出典 ↗ - 7Claude Opus 5
公開のAutomationBenchの複数分野SaaSタスク実行で首位。最大の努力設定で50.3%の合格率で、営業、マーケティング、運用、サポート、財務、人事にわたる。
出典 ↗ - 8Antigravity CLI
Agents' Last Exam v1.1で43.4%の上位合格率。複数ステップのタスクで、競争力のあるエージェントのハーネス管理を示している。
出典 ↗ - 9Muse Code
Agents' Last Exam v1.1で38.5%の上位合格率。完全なタスク完了では上位のハーネスに後れを取り、エッジケースには人間の検証が必要だ。
出典 ↗ - 10OpenClaw
Agents' Last Exam v1.1で36.1%の上位合格率。有用な自動化能力を示すが、人間によるレビューと修正の余地は大きい。
出典 ↗
Gemini が気づいたこと
Agents' Last Exam v1.1の最高の合格率(47.5%)でも、122タスクの半分以上は未解決のままだ。さらに難しいティアは、これまで完全合格率が平均1%を下回っていた。
トークンの費用と実行時間は、モデルとハーネスによって大きく異なる。たとえばKimi 3.1 Proは、850万の出力トークンで74.4%のスコアに達するが、Opus 5.5は2,150万が必要だ。軽量なハーネスは、品質を大きく落とさずに費用を41%削減できる。
Zapierの2026年11月の報告では、経営幹部の45%が、人間によるAI監督を重大な業務に限るか、そもそも省いている。それでもエージェントは、人間によるレビューを要するミスを依然として起こす。
🇺🇸 Claude10 位まで · メモ 4 件
同じ質問に Claude だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Gemini 4 Carbon (Google)
Agents' Last Exam v1.1で完全合格率45.9%、スコア77.4%で首位。AutomationBenchのタスクでは53.9%を、1件あたり2.12ドルで合格させる。
- 2Claude Opus 5.5 (Anthropic)
ALE v1.1で43.4%と2位タイ。それでもAutomationBenchでは、Mediumでタスクあたり0.65ドルで29.5%、Maxで42.5%。設定によって大きく差が開く。
出典 ↗ - 3GPT-6 Astra (OpenAI)
ALE v1.1で42.6%。AutomationBenchでは、低い努力設定(タスクあたり1.08ドル)の30.3%から、最大設定の41.4%まで幅がある。
出典 ↗ - 4Kimi 3.1 Pro / K3.1 (Moonshot)
オープンウェイト系のモデルで、ALE v1.1ではOpus 5.5と43.4%で並ぶ。一方、その姉妹モデルのKimi K3は、AutomationBenchで22.7%の12位だ。
出典 ↗ - 5Gemini 4 Neon (Google)
AutomationBenchで56.3%の首位、タスクあたり1.69ドル。Carbonよりタスク単価が安い。
出典 ↗ - 6GPT-5.5 with Codex (OpenAI)
元のAgents' Last Examで完全合格率24.0%の首位。その後の報道では、Codexが26%と引用されている。
出典 ↗ - 7Claude Fable 5 with Claude Code (Anthropic)
元のALEでは22.0%で3位。GPT-5.5の2つの設定の後ろにつけた。
出典 ↗ - 8Gemini 4 Argon (Google)
ALE v1.1で40.2%。再実行されたAutomationBench 1.0.6のスナップショットの1つでは51.3%で首位にも立つ。
出典 ↗ - 9Claude Sonnet 5.5 (Anthropic)
あるアグリゲーターはALE v1.1で60.4%としているが、その列は合格率ではなくスコアのように見える。
出典 ↗ - 10Muse Wonder 1.0
ALE v1.1で上位グループに続き、合格率は38.5%。
出典 ↗
Claude が気づいたこと
同じエージェントの系統でも、努力設定によってAutomationBenchで約30%にも42%にもなる。そのため、設定はモデルと同じくらい重要だ。
最初のAgents' Last Examでは、最難関ティアの平均完全合格率は2.6%だった。GPT-5.5やFable 5を含むほとんどのモデルは0点だった。
完全合格と採点スコアを比べると、部分点がどれだけ隠れているかがわかる。Gemini 4 Carbonは、ALE v1.1のタスクの45.9%を完全に合格するが、平均スコアは77.4%だ。
KPMGが実際の監査で100を超えるエージェントを試したと報じられている。それでも人間による修正が必要だった。これは、これらのベンチマークのスコアに対応する、実社会での事例である。
🇨🇳 MiMo10 位まで · メモ 4 件
同じ質問に MiMo だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1GPT-6.2 Astra (OpenAI, 2026)
自己改善能力で「High」と評価された初のモデル。それでも、人間が最後まで監督するモデルでもある。
出典 ↗ - 2Claude Fable 5.2 (Anthropic, 2026)
Astraと約8ドルで価格が並んだ。ベンチマークの争いは、もはや頭の良さではなく、セント単位で決まる。
出典 ↗ - 3GPT-6.2 Sol (OpenAI, 2026)
実在のコードベースでフラッグシップにほぼ並び、費用は5分の1。発表時の価格性能の掘り出し物だ。
出典 ↗ - 4EY multi-agent audit framework (EY Canvas)
最も地味なタイプのエージェントが勝つ。監査人がすでに使っているソフトに組み込まれている。
出典 ↗ - 5KPMG audit agent swarm (Project Exponential)
すべての監査段階で100を超えるエージェント。そして人間による1回の修正が、業界で最も価値あるデータ点だ。
出典 ↗ - 6KPMG Clara Intelligence agents (US)
製品名に「human-assured」を掲げる、統治されたエージェント。監督が、マーケティング上の売りになっている。
出典 ↗ - 7PwC AI Agent Operating System
エージェントではなく、オーケストレーションの層だ。他のエージェントが、検証可能な形で接続していく土台である。
出典 ↗ - 8AutomationBench agent harness (Zapier, benchmark)
47の実際のツールと、意図的に曖昧なタスク。オフィス業務のリハーサルに最も近いものだ。
- 9Agents' Last Exam harness (UC Berkeley RDI)
単一の質問ではなく、答えを隠した数日がかりのプロ業務全体を採点する、唯一の公開テストだ。
- 10KPMG Ignite Financial Assistant (Workday/Google Cloud)
月末締めのアシスタント。範囲が狭く、検証可能で、ほとんどのデモよりも実際の財務業務に近い。
出典 ↗
MiMo が気づいたこと
重要なのは、賢さではなく、完了した仕事1件あたりの費用という新しい競争だ。Astraは前モデルの3分の1未満の費用でタスクを処理し、Solは実在のコードベースでフラッグシップに並びながら、価格は5分の1だ。
発表で最も安全性に関わる数字は、スコアではなく評価だ。Astraは、自己改善能力で「High」と評価された初のモデルである。
ベンチマークと現実は、意図的に食い違っている。Agents' Last ExamとAutomationBenchはシミュレートされたタスクを採点するが、唯一の実際のプロ業務の全体試験(KPMG)では、人間による修正が必要だった。
独立したリーダーボード(AutomationBench-AA)が存在するのは、ベンチマークの作成者自身がエージェントも販売しているからだ。これは、他の研究所も模倣している統治の形である。
🇨🇳 Kimi10 位まで · メモ 3 件
同じ質問に Kimi だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Claude Opus 5.5 (Claude Code)
最も厳しいプロ業務試験(Agents' Last Examで38.2%の合格、63.2%のスコア)と、GDPval-AA(68.3%)で首位。計算コストは1,340ドル、183時間。
出典 ↗ - 2GPT-6 Astra (Codex harness)
Agents' Last Examで2位(34.2%)、クラス最高のコンピュータ操作の数字(OSWorld 2.0で72.6%、タスクあたり約40分)。同じ指数スコアのClaudeに比べ、コーディングのタスク単価は半分だ。
出典 ↗ - 3Gemini 4 Carbon
最も厳しいワークフロー採点者のチャンピオン。AutomationBenchの53.9%は、Zapierが657の実際の業務タスクで記録した最高の合格率だ。
- 4Claude Fable 5.2 (with default fallbacks)
1回のリリースで前モデルの2倍になった。AutomationBenchで22.4%から51.4%へ。タスクあたり96.9回のツール呼び出しで、最大の努力設定では実際の合格1件あたり9.01ドルだ。
- 5GPT-6.2 Astra
最も高い自己申告のプロ業務の数字を持つ。ALE v1.1で77.6%だが、これは研究所自身の最大努力設定によるルーブリック実行であり、他者が採点する完全合格率ではない。
出典 ↗ - 6Gemini 4 Hydrogen
価値の最前線。AutomationBenchで51.1%、1タスクあたり0.82ドル。低い努力設定でも0.18ドルで30.6%を合格させる。テストしたなかで、より安くてより正確なものはない。
- 7Claude Sonnet 5.5
大きな兄貴分のOpus 5.5に、AutomationBenchで勝つ(44.6%対40.0%)。費用はその一部にすぎず、価格が性能を予測しないことの最も明確な証拠だ。
- 8GPT-6 Sol
価値の主力。Agents' Last Examで完全合格率32.2%、総額318ドル(Astraは1,100ドル)。AutomationBenchのスコアはAstraの約80%で、費用は約6分の1だ。
- 9MiniMax M3.1 Flash
コストの破壊者。Agents' Last Examで29.6%、総額91.44ドル。これは首位の支出のおよそ7%で、ベンチマークの中位タスクでは46.3%に跳ね上がる。
出典 ↗ - 10Kimi K3
専門業務試験で最良のオープンウェイトのエージェントパッケージ(自前のKimi Codeハーネスで完全合格率28.3%)。AutomationBenchでは1タスク0.43ドルだ。
出典 ↗
Kimi が気づいたこと
最も難しい作業には、まだ手がつけられていない。Agents' Last Examの最難関ティア(人間の専門家が数日から数週間かかるタスク)では、テストされたすべてのフロンティアエージェントが、その時点の最新フラッグシップを含めて0%だった。リーダーボードの約38%の首位の合格率は、全タスクセットに対するもので、難しい側のものではない。
上位では、お金はそれほど買えない。ALEの実行費用は桁違いに異なり(6月の調査では、完了タスクあたり約1.33〜15.70ドル)、MiniMax M3.1 Flashは、首位の完全合格率の約77%に、首位の総支出のおよそ7%(91ドル対1,340ドル)で届く。
完全合格率は、誰をも謙虚にさせる。657タスクのAutomationBenchの最高スコアは53.9%で、TheAgentCompanyのシミュレートされた職場では、最強のモデルでもプロ業務の約30%しか完全には終えられない。「有用なエージェントはここにある。しかし、即戦力のエージェントはまだない。」
🇨🇳 DeepSeek10 位まで · メモ 3 件
同じ質問に DeepSeek だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Gemini 4 Carbon (ALE-Claw)
ALEで完全合格率45.9%、スコア77.4%で首位。ただし、最難関ティアは100%の確率で依然として不合格だ。
出典 ↗ - 2Claude Fable 5.2 / 5.1 (Claude Code)
実際のフリーランス案件の41.25%を完了する。Opus 5.5の2倍以上で、ALEのタスク1件あたり15.70ドル以上。
- 3GPT-6 Astra (Codex)
ALEで42.6%合格、80時間と510万トークン。上位3つのALEエージェントの中で効率が最も高い。
出典 ↗ - 4Claude Opus 5.5 (Claude Code)
DAYJOBの13〜17時間のプロ業務で、医療分野では24.7%と最良。ただし、ALEでは177時間かかる。
出典 ↗ - 5Kimi 3.1 Pro (Kimi Code)
ALEで43.4%合格、61時間。似たスコアのOpus 5.5とFable 5.2より速い。
出典 ↗ - 6Gemini 4 Argon (ALE-Claw)
AutomationBenchで完全合格率51.3%、タスクあたり1.70ドル。最高のアプリ横断ワークフローエージェントだ。
出典 ↗ - 7GPT-6 Sol (Codex)
AutomationBenchで33.2%合格、タスクあたり0.27ドル。最も安く信頼できるワークフローエージェントだ。
出典 ↗ - 8Claude Sonnet 5.5
AutomationBenchの完全合格率44.7%、1.14ドル。首位に6.6ポイント遅れるが、33%安い。
出典 ↗ - 9Gemini 3.5 Flash
AutomationBench-AAで42.6%、タスクあたり0.49ドル、タスクごとのガードレール違反は0.46件。比較的安全で、最も安い選択肢だ。
出典 ↗ - 10DeepSeek V4.1 Flash (OpenClaw)
ALEで36.1%合格、76時間。部分スコア65.4%のオープンウェイトの選択肢だ。
出典 ↗
DeepSeek が気づいたこと
ALEの最難関ティアは依然として0%の壁だ。テストされたすべてのフロンティアエージェント(Fable 5を含む)は、最難関ティアのすべてのタスクに失敗する。最良の全体エージェントでも、元のALEでは25.2%しか合格せず、Terminal-Benchでは82%だ。プロ業務のギャップは、コーディングのギャップよりはるかに大きい。
ApprenticeBenchは、費用と監督を最も明確に比べられる指標だ。Fable 5.1は、実際の買掛金処理の業務で、最良の人間テスターに72%対51%で勝つ。ただし、請求書1件あたり18.23ドルで、人間の7.21ドルより高い。エージェントは品質で勝ち、単価の経済性では負ける。
AutomationBench-AAでは、すべてのモデルがビジネスルールを破る。最も安全なモデルでも、完了した目標およそ15件に1回はガードレールに違反し、最悪のモデルは0.8件に1回違反する。現在の信頼性では、人間によるレビューは任意ではない。
🇨🇳 Qwen10 位まで · メモ 3 件
同じ質問に Qwen だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1Claude Fable 5.2
SWE-bench Verifiedで95%で首位。アリーナの実世界業務のパレートフロンティアでは、タスクあたり11.32ドル。
出典 ↗ - 2GPT-6.2 Astra
Agents' Last Exam v1.1で、完全合格率47.5%、採点スコア78.3%で首位。出力トークンは260万。
出典 ↗ - 3Qwen3.8 Max
OSWorld-Verifiedで86.1%。オープンエンドのコンピュータ操作タスクで、人間の基準を上回る。
出典 ↗ - 4Claude Opus 5.5
SWE-bench Verifiedで97%(Mini-SWE-agentとともに)。アリーナの業務リーダーボードでは、タスクあたり8.06ドルのみ。
出典 ↗ - 5Gemini 4 Neon
独立したArtificial Analysisのリーダーボード AutomationBench-AAで、模擬SaaSワークフローのスコア79.3%で首位。
出典 ↗ - 6MiniMax M3.1 Flash
Zapierの公式AutomationBenchで、複数ステップの業務自動化タスクの完了率62.2%で首位。
出典 ↗ - 7ERNIE 5.5 Flash Preview
Zapierの AutomationBenchで61.9%のスコア。アプリをまたぐCRMとカレンダーの曖昧さを効率よく処理している。
出典 ↗ - 8Devin (SWE-1.7 / SWE-2)
コグニションの自律型ソフトウェアエンジニアは、Terminal-Bench 2.1で81.5%、SWE-bench Multilingualで77.8%を記録している。
出典 ↗ - 9Lindy.ai
ノーコードのAI社員ビルダーは月額29.99〜199.99ドル。しかしユーザーは、G2で4.9、トラストパイロットで1.7と評価が割れている。
- 10Relevance AI
「AIファクトリー」に焦点を当てる。運用チームがコードを書かずに、自己改善型のエージェントの労働力を構築する。
出典 ↗
Qwen が気づいたこと
Agents' Last Examでは、主流のAIエージェントは当初、実際のプロ業務の2.6%しか合格しなかった。しかし最新のv1.1リーダーボードでは、GPT-6.2 Astraが47.5%の完全合格率に達している。
アリーナのような実世界業務のリーダーボードでは、最高性能のエージェント(Claude Fable 5.2、タスクあたり11.32ドル)は、古いモデル(Claude Opus 5.5、8.06ドル)より、完了タスク1件あたりの費用が実際に高い。
ZapierのAutomationBenchは、公式のホスト型スコア(MiniMaxで62.2%)と、独立した評価(AA AutomationBenchでGemini 4 Neonが79.3%)の間に大きな差があることを示している。ベンチマークの実施方法は、モデルそのものと同じくらい重要だ。
🇨🇳 Qianwen10 位まで
同じ質問に Qianwen だけが答えたものです。上の最終リストはすべての AI をまとめています。
- 1ChatGPT Work
統合されたツール実行による、Agents' Last Examの最高の完全合格率。
出典 ↗ - 2Claude Cowork
長時間の文書ワークフローで最高の採点スコア。
- 3Microsoft Copilot Studio
検証済みの業務タスク向けに、M365との最良の企業統合。
- 4Gemini Agent
アプリをまたぐワークフローでの強いマルチモーダル性能。
- 5Codex
プロの開発タスクで、コード生成とデバッグが最も優れている。
出典 ↗ - 6Manus
調査タスクでの自律性は高いが、人間による検証が必要だ。
- 7Cursor
低遅延のIDE統合コーディングに最適化されている。
- 8WorkBuddy
中程度の精度で、定型のオフィス自動化にコスト効率が高い。
- 9OpenClaw
カスタマイズ性は高いが、合格率が低いオープンソースの代替。
出典 ↗ - 10Antigravity
ソフトウェア作成に特化しているが、業務ワークフローでは限定的。