今日のトレンドに戻る: メタ「安いAIはアンソロピック並み、コストは3分の1」と発表
Poly ランキング · 今日のトレンドから

2026年のエージェント向け最良モデル:オフィス業務とコード

Muse Emberはオフィスのワークフロー目標の68.1%を完了させ、Claude Haiku 5.5の35.4%を上回ります。それでも、Haikuのパッチのほうがメンテナーのテストに合格する率は高く、34.9%対27.2%です。

  • 1位:Meta Muse Ember
  • 10 位まで

01最終リスト

主要なAIがそれぞれ独立して 10 位までのリストを作りました。確認しやすい 1 つの結果です。各順位に理由、出典、その項目を入れた AI の一覧があります。

並び順:AIの合意が多い順です。

明るいバッジは、その AI がこの項目を自分のリストに入れたことを示します。薄いバッジは入れなかったことを示します。

  1. 1

    Meta Muse Ember

    オフィスの手順を任せるなら、ワークフロー目標の68.1%を完了させます。Haikuは35.4%です。最終的なマージ作業は任せないでください。そこではEmberが27.2%、Haikuが34.9%です。

    選んだ AI: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek, Qwen. 選ばなかった AI: Gemini, Wenxin.

    各 AI のリストでの順位: Claude: 1 · ChatGPT: 1 · Meta: 5 · Grok: 1 · Z.ai: 3 · Kimi: 2 · DeepSeek: 1 · Qwen: 2

    各 AI の指摘 8
    • Claude1 位

      AutomationBench-AA で37.8%(Haiku は13.9%)と、オフィス業務で勝つ。ただし、コードでは負ける。FrontierCode 2.0 では27.2%対34.9%。

      出典 ↗
    • ChatGPT1 位

      オフィス業務の専門家。ワークフロー目標の完了率は68.1%だが、マージを重視したコード評価では27.2%にとどまる。

      出典 ↗
    • Meta5 位

      ターミナル優先型。メタの表では Terminal-Bench 40.9%、FrontierCode-AA は27.2%。AA の AutomationBench 24モデル一覧には、オフィス業務のスコアは見つからなかった。

      出典 ↗
    • Grok1 位

      オフィス作業を任せる。ワークフロー目標の68.1%。ただし、最終のマージには近づけない。

      出典 ↗
    • Z.ai3 位

      1モデルの中でのオフィスとコードの分かれ目。AA のワークフロー実行では68.1%(メタの厳しい表では37.8%)。ターミナルでは Haiku に40.9%対32.8%で勝ち、マージ可能なコードでは Haiku に27.2%対34.9%で負けている。

      出典 ↗
    • Kimi2 位

      オフィス業務の37.8%を完了。Haiku の2.7倍の率だ。ただし、メンテナーのマージ試験で逆転する:27.2%対 Haiku の34.9%。

      出典 ↗
    • DeepSeek1 位

      業務ワークフロー(厳密な37.8%)で最上位、ターミナル作業(40.9%)でも競争力を持つ、安いクラスで唯一のモデル。ただし、そのコードパッチのうちマージされるのは27.2%だけ。

      出典 ↗
    • Qwen2 位

      エージェントが一日中こなす、反復的な API 呼び出しと振り分けのために作られた。

      出典 ↗
    8つのAIがここに選出
  2. 2

    Claude Haiku 5.5

    コードに触らせるなら安いモデルです。AAのFrontierCodeの実行では34.9%ですが、コグニション自身のボードでは27.7%です。オフィス業務では35.4%しか完了しません。

    選んだ AI: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek, Qwen. 選ばなかった AI: Gemini, Wenxin.

    各 AI のリストでの順位: Claude: 2 · ChatGPT: 2 · Meta: 4 · Grok: 2 · Z.ai: 5 · Kimi: 1 · DeepSeek: 2 · Qwen: 4

    各 AI の指摘 8
    • Claude2 位

      コードで選ぶなら、小さなグループでの FrontierCode 2.0 の最高スコア(34.9%)。ただし、オフィス業務の完了は13.9%しかない。

      出典 ↗
    • ChatGPT2 位

      オフィス業務の勝負では Ember に負けるが、報告された FrontierCode の比較では、Ember より7.7ポイント上。

      出典 ↗
    • Meta4 位

      安いコードの首位。FrontierCode 2.0 は27.7%、ターミナルは36%。ただしオフィス業務は35.4%にとどまる。

      出典 ↗
    • Grok2 位

      コードに触らせるべき安いモデル。マージ可能は34.9%、オフィスの厳密テストでは13.9%。

      出典 ↗
    • Z.ai5 位

      コードに触らせるべき1モデル。FrontierCode 2.0 で、メンテナーのテストに通るパッチは34.9%。安いライバルすべてより約10ポイント上。ただし、オフィスのスコア(35.4%)はここで最も弱い。

      出典 ↗
    • Kimi1 位

      コード部門で勝つ唯一の小型モデル。FrontierCode 2.0 で34.9%と、Muse Ember を7.7ポイント上回り、Terminal-Bench では39.2%。

      出典 ↗
    • DeepSeek2 位

      安いクラスのマージ向けコーダー。FrontierCode 2.0 で34.9%。ただし、オフィスの厳密テストでは13.9%だけ。コードは直すが、スプレッドシートには目もくれない。

      出典 ↗
    • Qwen4 位

      Anthropic の安全ガードレールにより、SaaS のワークフロー・ルールに反しない。

    8つのAIがここに選出
  3. 3

    DeepSeek V4.1 Flash

    オフィス業務で66.6%と強いですが、コグニションのコードボードでは19.3%しかありません。ターミナルのスコアは、メーカー発表の42.3%から、Valsの実行では31.82%に下がります。

    選んだ AI: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek. 選ばなかった AI: Gemini, Wenxin, Qwen.

    各 AI のリストでの順位: Claude: 4 · ChatGPT: 5 · Meta: 8 · Grok: 5 · Z.ai: 4 · Kimi: 4 · DeepSeek: 3

    各 AI の指摘 7
    • Claude4 位

      ビトのグループで、長時間セッションのコーダーとして最良(71.9%)。ただし20ターンの実行1回は$2.17。AutomationBench-AA の数字は見つからなかった。

      出典 ↗
    • ChatGPT5 位

      知能スコア33とオープンウェイトは魅力的。しかし、より難しいマージ可能な作業では、FrontierCode は19.3%に落ちる。

      出典 ↗
    • Meta8 位

      価格のわりにターミナルは強く、$0.54で31.82%。コードは19.3%と弱い。シェルの作業者で、マージ担当ではない。

    • Grok5 位

      Hermes のランキングでは36.91で$0.26/タスク。Haiku の37.00($0.49)のすぐ隣に並ぶ。

      出典 ↗
    • Z.ai4 位

      オフィス業務は66.6%、MIT ライセンスのオープンウェイトで自前運用できる。だが、ターミナルの評価はハーネスによって逆転する。自己申告は42.3%、Vals AI の独立テストでは19.7%。

      出典 ↗
    • Kimi4 位

      最も安い本格的なコードの選択肢。FrontierCode 2.0 で19.3%、1回の実行$0.38。Terminal-Bench は42.3%(自己申告)/33.8%(独立)。

      出典 ↗
    • DeepSeek3 位

      ターミナルの専門家。Terminal-Bench 4.0 で42.3%、AutomationBench v1.0.6 で60.5%。ただし FrontierCode はわずか28%。コマンドを走らせるのは強いが、マージできるパッチを出すのは弱い。

      出典 ↗
    7つのAIがここに選出
  4. 4

    GPT-6 Luna

    オフィス業務は平均的で、ターミナルは苦手です。オフィス目標の53.2%(厳密な基準では20.2%)、コードでは25.2%、ターミナルタスクは16.4%しか解けません。

    選んだ AI: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek. 選ばなかった AI: Gemini, Wenxin, Qwen.

    各 AI のリストでの順位: Claude: 6 · ChatGPT: 6 · Meta: 6 · Grok: 9 · Z.ai: 8 · Kimi: 7 · DeepSeek: 6

    各 AI の指摘 7
    • Claude6 位

      オフィス業務は中位(20.2%)。コード(25.2%)とターミナル作業(16.4%)は、発表時の3つの競合の中で最下位。

      出典 ↗
    • ChatGPT6 位

      低コストの助っ人。Coding Agent Index では31だが、公式のターミナル作業の解決率は16.4%にとどまる。

      出典 ↗
    • Meta6 位

      安さのバランス型。オフィス業務53.2%、コード21.9%。Haiku よりオフィスは上、コードは下。

      出典 ↗
    • Grok9 位

      オフィスの厳密テストで20.2%、マージのテストで25.2%。表示価格は Ember と同じなのに負けている。

      出典 ↗
    • Z.ai8 位

      オフィスのスコアは、誰が採点するかでほぼ3倍変わる。メタの1回試行の表では20.2%、AA の標準実行では53.2%。マージ可能性は、コグニションの表で23.8%。

      出典 ↗
    • Kimi7 位

      1モデルの中のオフィスとコードの分かれ目。業務ワークフローでは強い(AutomationBench-AA で、ある AA の実行では53%、メンテナーの厳しい表では20.2%)。しかし Terminal-Bench では16.4%。

      出典 ↗
    • DeepSeek6 位

      1タスクの費用($0.15)の低さの陰に、オフィスとターミナルの弱い結果が隠れている。AutomationBench の厳密値は20.2%、Terminal-Bench は16.4%、FrontierCode は25.2%。

      出典 ↗
    7つのAIがここに選出
  5. 5

    MiniMax M3.1 Flash

    安価なモデルの中ではオフィスのスコアが最高で、72.5%です。ターミナルのスコアは、メーカー発表の38.1%から、Valsの実行では25.25%に下がります。アプリ向けに使い、シェル作業には使わないでください。

    選んだ AI: Claude, Meta, Grok, Z.ai, Kimi, DeepSeek. 選ばなかった AI: ChatGPT, Gemini, Wenxin, Qwen.

    各 AI のリストでの順位: Claude: 5 · Meta: 2 · Grok: 7 · Z.ai: 2 · Kimi: 5 · DeepSeek: 5

    各 AI の指摘 6
    • Claude5 位

      ビトの20ターンのセッションで75.0%に達し、Haiku 5.5 とほぼ並ぶ。ただし、1回の実行に3〜5時間かかる。

      出典 ↗
    • Meta2 位

      オフィス業務の目標の72.5%を完了。安いモデルではオフィス業務の最高。一方、ターミナルは25%。

      出典 ↗
    • Grok7 位

      発表時のターミナルの数字38.1%と、共通ハーネスでの数字25.25%は、同じテストではない。

      出典 ↗
    • Z.ai2 位

      オフィス業務の目標の72.5%。249モデル中、Gemini 4 Carbon に次ぐ2位。一方、Vals AI はターミナルのテスト1回あたり$0.21と、この層で最も安い完了タスクの費用で請求した。

      出典 ↗
    • Kimi5 位

      Terminal-Bench 4.0 で38.1%。同じ約$0.60の出力価格の Luna より22ポイント上。オフィスやマージ・コードの数字は、まだ公表されていない。

      出典 ↗
    • DeepSeek5 位

      安いグループでオフィス業務のチャンピオン。AutomationBench-AA で72.5%。ただし FrontierCode は21%、Terminal-Bench は26%。スプレッドシートを任せ、プルリクエストは任せない。

      出典 ↗
    6つのAIがここに選出
  6. 6

    GLM-5.3-Flash

    オフィスの作業キュー向けのオープンウェイトモデルで、60.4%です。マージ可能なコードは、コグニションのボードでは14.2%、AAの実行では17.6%に下がります。

    選んだ AI: ChatGPT, Grok, Kimi, DeepSeek. 選ばなかった AI: Claude, Meta, Gemini, Z.ai, Wenxin, Qwen.

    各 AI のリストでの順位: ChatGPT: 4 · Grok: 3 · Kimi: 6 · DeepSeek: 7

    各 AI の指摘 4
    • ChatGPT4 位

      Flash モデルとしてはターミナル解決率35.8%。ただし、メンテナー品質のコーディング・ベンチマークでは14.2%。

      出典 ↗
    • Grok3 位

      オフィスの作業列向けのオープンモデルで60.4%。マージ可能なコードは17.6%まで下がる。

      出典 ↗
    • Kimi6 位

      Terminal-Bench 4.0 で35.8%、1タスク$0.36。安いターミナル作業が信頼できるようになり始める価格と性能の点だ。

      出典 ↗
    • DeepSeek7 位

      AutomationBench で60%は、オフィス手順を実行する役として信頼できる。ただし、FrontierCode 15%、Terminal-Bench 33%では、リポジトリの作業からは遠い。

      出典 ↗
    4つのAIがここに選出
  7. 7

    Gemini 3.8 Flash

    オフィス目標は59.9%を完了させますが、ターミナルタスクは約19%にとどまります。Valsはターミナルテスト1回に$8.65を請求しており、予算グループの中で最も高い請求額です。

    選んだ AI: ChatGPT, Meta, Z.ai, DeepSeek. 選ばなかった AI: Claude, Grok, Gemini, Kimi, Wenxin, Qwen.

    各 AI のリストでの順位: ChatGPT: 7 · Meta: 3 · Z.ai: 7 · DeepSeek: 9

    各 AI の指摘 4
    • ChatGPT7 位

      100万トークンのマルチモーダル・アシスタントだが、評価に使われたハーネスでは、公式のターミナル作業の解決は19.1%だけ。

      出典 ↗
    • Meta3 位

      オフィス業務59.9%、ターミナル19.7%。MiniMax と同じ割り振りだが、測定されたタスク費用ははるかに高い。

      出典 ↗
    • Z.ai7 位

      オフィス業務59.9%で、知能を重視する人々は Opus 級と比べる。だが、同じモデルは Vals AI のターミナル・テスト1回あたり$8.65かかり、予算クラスで完了タスクの費用が最大だ。

      出典 ↗
    • DeepSeek9 位

      AutomationBench は高い effort で60%。ただし FrontierCode は19%、Terminal-Bench は20%。オフィスでの能力が、マージ可能なコードに移るわけではないという注意点。

      出典 ↗
    4つのAIがここに選出
  8. 8

    Thinking Machines Inkling 2 Small

    オフィス業務で46%に跳ね上がったと報告されていますが、情報源は1つだけです。コードは22.6%から25%です。ターミナルタスクは12.63%しか解けません。

    選んだ AI: Claude, ChatGPT. 選ばなかった AI: Meta, Grok, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen.

    各 AI のリストでの順位: Claude: 3 · ChatGPT: 8

    各 AI の指摘 2
    • Claude3 位

      報告では、AutomationBench-AA で前世代の5%から46%に跳ね上がったとされる。一方、Terminal-Bench 4.0 は約13%のまま。

      出典 ↗
    • ChatGPT8 位

      FrontierCode の22.6%は、まずまずだ。だが、$1.18の指数タスクと遅い完了が、エージェントとしての経済性を弱める。

      出典 ↗
    2つのAIがここに選出
  9. 9

    Qwen3.8 Flash

    オフィスのスコアは55.9%で、同じArtificial Analysisのページにあるターミナルのスコア25.3%より30ポイント高いです。この数字を報告しているのは1つの情報源だけです。

    選んだ AI: Grok. 選ばなかった AI: Claude, ChatGPT, Meta, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen.

    各 AI のリストでの順位: Grok: 4

    各 AI の指摘 1
    • Grok4 位

      オフィス業務55.9%。同じカードのターミナル・スコアより30ポイント上。

      出典 ↗
    1つのAIがここに選出
  10. 10

    Qwen3.8-27B

    画面上のデスクトップ作業に特化したモデルで、ターミナル向けではありません。OSWorld-Verifiedでは84.3%ですが、Terminal-Bench 4.0では5.1%しかなく、オフィス業務は48.2%です。この数字を報告しているのは1つの情報源だけです。

    選んだ AI: Z.ai. 選ばなかった AI: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek, Wenxin, Qwen.

    各 AI のリストでの順位: Z.ai: 9

    各 AI の指摘 1
    • Z.ai9 位

      小型クラスの GUI 専門家。OSWorld-Verified では84.3%(全体で4位)、Terminal-Bench 4.0 では5.1%。デスクトップ・アプリは得意だが、コンテナ化されたターミナルは苦手。

      出典 ↗
    1つのAIがここに選出

トップ3をもっと詳しく ↓

02トップ3をもっと詳しく

ランキングは上にあります。ここでは上位3つについて、それが何か、なぜここにあるのか、知っておきたいことを紹介します。

3つは別々のテストで比較されています。Ember の68.1%と DeepSeek の66.6%はオフィス業務の試行から得られた数値で、Haiku の35.4%も同じオフィス業務の指標によるものです。コードとターミナルの点数は別のベンチマークによるもので、一部は自己申告値、または独立

1Meta Muse Ember

1位 — Meta Muse Ember. 10 の AI のうち 8 がリストに入れた/そこでの順位の中央値:1.5. AIたちがこれを1位にしたのは、マージできるコードでは負けるものの、Haiku よりオフィス業務の工程をはるかに多く完了させるからです。

知っていましたか

  • メタの Muse Ember は、Muse ファミリーで最も小さいモデルです。より大きな計画役である Muse Wonder と並べて動かすことを想定しています。メタの言い方では「Muse Wonderが計画し、Muse Emberが量をさばく」です。重み(学習済みの数値データ)は非公開です。

    出典 ↗ ✓ 複数の AI が確認
どんなものか
メタの Muse シリーズで最も小型で安いモデルです。小さく繰り返すエージェント作業向けに作られています。
強み
オフィス業務の目標の68.1%を完了しており、Haiku の35.4%を大きく上回ります。
向いている人
オフィス業務型のエージェント作業に向いています。マージが必要なコードには向きません。
  • オフィス業務の目標達成率オフィス業務の目標の68.1%
ここにある理由
  • メタの長いデスクトップ作業テスト(OSWorld 2.1)では、Emberは部分点で69.5%を取ります。Claude Haiku 5.5は68.9%です。ほぼ同点なので、この指標でのEmberのオフィス作業での差はわずかです。

  • The New Stackによると、作業を最後まで完了させた割合は、Emberが33.8%、Haikuが27.8%です。最初から最後まで完了した作業だけを数えると、Emberの強みが出ます。

知っていましたか
  • Emberの料金は、入力100万トークンあたり$0.10、出力100万トークンあたり$0.50です。それでも1Mトークンの文脈の窓(一度に扱える文章の量)があり、画像の入力も受け付けます。Muse ファミリーでは、Spark、Glimmer、Wonderに続く4番目のモデルです。

気をつけたい点
  • Emberは2026年11月9日に、より小型で安いモデルとして公開されました。そのため、これまでの報道はメタ自身のベンチマークに頼っています。第三者による利用者のレビューはまだ見つかっていません。初期の点数は、開発元の主張として受け取ってください。

さらに知るには
  • ブログを開き、「Try Muse」ボタンからMuse Emberを試せます。まず、冒頭の直後にある「Intelligence vs. Cost Per Task」のグラフを見てください。この数字はメタ自身のものなので、第三者のテストと照らし合わせて確かめてください。

トップ3を比べる ↓

2Claude Haiku 5.5

2位 — Claude Haiku 5.5. 10 の AI のうち 8 がリストに入れた/そこでの順位の中央値:2. AIたちが2位に挙げたのは、オフィス業務の点数は劣るものの、コードを任せられる低価格モデルとして、パッチがメンテナーのテストを通る割合が高いからです。

どんなものか
アンソロピックの小型で低価格なモデルで、Claude 5.5 ファミリーの一つです。
強み
コードのパッチがメンテナーのテストを通る割合は34.9%で、Ember の27.2%より高いです。
向いている人
コードの修正やパッチに向いています。オフィス業務には最適ではありません。
  • オフィス業務の目標達成率オフィス業務の目標の35.4%

Wikidata

ここにある理由
  • メタの結果ページでは、オフィス作業風の手順(OSWorld 2.1)でのClaude Haiku 5.5の部分点は68.9%です。Emberは69.5%なので、デスクトップ作業ではHaikuも僅差で続いています。

  • 同じテストでは、完全に完了した割合を別に数えます。Haikuは作業の27.8%を完全に終えており、Emberの33.8%と比べると低めです。この順位の一部は、コードなど別の分野での強さによるものです。

Kimi が1位にした。そこに見たもの
  • Kimi: コード部門で勝つ唯一の小型モデル。FrontierCode 2.0 で34.9%と、Muse Ember を7.7ポイント上回り、Terminal-Bench では39.2%。

トップ3を比べる ↓

3DeepSeek V4.1 Flash

3位 — DeepSeek V4.1 Flash. 10 の AI のうち 7 がリストに入れた/そこでの順位の中央値:4. AIたちが3位に置いたのは、オフィス業務の点数は高い一方、コードの点数は低く、ターミナルの結果もテストによってばらつくからです。

どんなものか
DeepSeek の低価格な Flash モデルで、重みが公開されています。現在は Pro のリクエストも処理しています。
強み
オフィス業務では66.6%で Ember に近く、1件あたりの料金は Haiku より安いです。
向いている人
自前での運用やターミナル作業に向いています。マージできる品質のコードには向きません。
  • オフィス業務の目標達成率オフィス業務で66.6%
ここにある理由
  • Vals AIの独立したTerminal-Bench 4.0の実行では、DeepSeek V4.1 Flash 1017版が31.82%です。同じページでGPT-6.1 Solは55.05%なので、首位との差は大きいです。

歴史
  • 2026年9月14日、DeepSeekは最上位のV4-Proモデルへのすべてのリクエストを、代わりに安いV4.1-Flashに振り分け始めました。その分の節約は利用者に還元されます。Flashは4日前の9月10日に公開されていました。

    出典 ↗ ✓ 複数の AI が確認
気をつけたい点
  • DeepSeekによると、Proモデルへのすべてのリクエストは今やV4.1 Flashに振り分けられ、Flashの料金で請求されます。Hacker Newsのコメント投稿者は、モデルを知らせずに入れ替えることを懸念しています。また、ある利用者は、Flashがコーディングツールで処理を繰り返し、無効なツール呼び出しで失敗すると報告しています。

さらに知るには
  • ハギングフェイスのモデルカードを開いてください。ターミナル作業のテストを扱う「Performance across agent scaffolds」の節から読み始めてください。このページには552Bパラメーターと書かれていますが、Hubのメタデータでは763Bとなっているので、数字は慎重に読んでください。

トップ3を比べる ↓

トップ3を並べて

Meta Muse EmberClaude Haiku 5.5DeepSeek V4.1 Flash
AI のリスト入り8 / 108 / 107 / 10
オフィス業務の目標達成率オフィス業務の目標の68.1%オフィス業務の目標の35.4%オフィス業務で66.6%
1位にした AIClaude, ChatGPT, Grok, DeepSeekKimi—

AI の数が同じ順位は、各 AI のリストでの平均順位で並べています。

03知っておきたいこと

AI がリストを作る中で気づいたこと。

オフィス業務の首位は、コードの首位ではありません。Emberは完了したワークフローでHaiku 5.5に勝ち(68.1%対35.4%)、マージ可能なコードでは負けます(27.2%対34.9%)。どちらの結果もArtificial Analysisの実行によるものです。

気づいた AI:
選んだ AI: Claude, ChatGPT, Grok, Z.ai, Kimi, DeepSeek. 選ばなかった AI: Meta, Gemini, Wenxin, Qwen.
出典 ↗

AutomationBenchには2つの集計方法があります。68.1%は完了した目標を数えたものです。一方、メタの37.8%は、最初の試行で完全に終わったワークフローだけを数えます。Haikuも同じ方法で35.4%から13.9%に下がるため、2つの集計は混ぜて比べられません。

気づいた AI:
選んだ AI: Claude, ChatGPT, Grok, Z.ai, DeepSeek. 選ばなかった AI: Meta, Gemini, Kimi, Wenxin, Qwen.
出典 ↗

メーカーの表のほうが高い数字になります。DeepSeekはTerminal-Benchで42.3%と発表していますが、Valsの数字は31.82%です。MiniMaxは38.1%と発表していますが、Valsは25.25%です。

気づいた AI:
選んだ AI: Grok, Z.ai, Kimi. 選ばなかった AI: Claude, ChatGPT, Meta, Gemini, DeepSeek, Wenxin, Qwen.
出典 ↗

ハーネス(実行環境の組み方)もスコアの一部です。同じ66タスクでのHaikuのTerminal-Bench結果は、アンソロピックでは39.2%、Valsでは36.36%、AAでは32.8%です。

気づいた AI:
選んだ AI: Meta, Grok, Z.ai, Kimi. 選ばなかった AI: Claude, ChatGPT, Gemini, DeepSeek, Wenxin, Qwen.
出典 ↗

FrontierCode 2.0の主なスコアは、テストに合格したパッチの割合だけではなく、ブロッキング基準を含む重み付きの評価表によるものです。Haikuは、AAの実行で34.9%、コグニション自身のボードで27.7%です。

気づいた AI:
選んだ AI: ChatGPT, Meta, Grok, Z.ai. 選ばなかった AI: Claude, Gemini, Kimi, DeepSeek, Wenxin, Qwen.
出典 ↗

04よくある質問

AIエージェントに最適なモデルはどれですか?

仕事の内容によります。オフィスの手順ならMuse Emberが向いており(AutomationBenchの目標の68.1%)、メンテナーのテストに合格するコードならClaude Haiku 5.5が向いています(FrontierCode 2.0で34.9%)。

出典 ↗
AIモデルとAIエージェントは何が違いますか?

モデルは次の手順を生成し、エージェントはそれをツールとループで包みます。だからTerminal-Bench 4.0は、66タスクにわたってモデルとエージェントの組み合わせを採点し、同じモデルでもハーネスによってスコアが変わります。

Hermes Agentに最適なAIモデルはどれですか?

Hermes Indexのスナップショットでは、Haiku 5.5が37.00点で1タスク約$0.49、DeepSeek V4.1 Flashが36.91点で約$0.26です。Emberは掲載されていません。

出典 ↗
オフィスワークフローのスコアが情報源によって大きく違うのはなぜですか?

Artificial Analysisは完了した目標を数えます(Emberは68.1%)。一方、メタのグラフは厳密な1回試行の採点を使います(Emberは37.8%、Lunaは20.2%対53.2%)。

出典 ↗

05集計方法

数式なしで、やさしい言葉で。

1質問

エージェント向け小型AIモデル トップ10:オフィスワークフローと、メンテナーがマージするコード

2このテーマを選んだ理由

3つの独立した発行元が、3種類の異なるエージェント作業を測っています。そのため読者は、「Haikuに勝つ」かどうかは仕事の内容によると分かります。これは単一のランキングでは分からないことです。

3対象範囲

エージェントで使われる、世界の小型・低価格モデル

4評価の観点

  • シミュレートされたオフィスアプリ内で完了した、業務ワークフロー目標の割合
  • 実際のリポジトリのメンテナーが書いたテストに合格する、コードパッチの割合
  • モデルとエージェントの組み合わせが解決した、実際のターミナルタスクの割合
  • メーカーの表と独立した実行の間で、各スコアがどれだけ動くか
  • Artificial Analysis AutomationBench-AA — シミュレートされたアプリ(Gmail、Slack、Salesforceなど)で完了した業務ワークフロー目標の割合。目標単位のスコアと、厳密なpass@1スコア d
  • コグニションFrontierCode 2.0(およびArtificial Analysis自身の実行)— 曖昧な仕様から書かれたパッチが、メンテナーのテストと評価表に合格するかどうか。132タスク
  • ラウド研究所とハーバーのTerminal-Bench 4.0 — モデルとエージェントの組み合わせが解決する、コンテナ化された66のターミナルタスクの割合
  • Vals AI Terminal-Bench 4.0 — 同じ66タスクを1つの共通ハーネスで実行したもの。メーカーの表の外部チェックとして使われる

5順位をつけた AI

主要なAI:Claude, ChatGPT, Meta, Grok, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen。それぞれが独自に10位までのリストを作り、各順位に出典を示しました。

6順位の決め方

AI ごとに表現が違っても同じ項目は一つとして数えました。より多くの AI がリストに入れ、より上位に置いた項目ほど順位が高くなります。「AI の一致」は、その項目を自分のリストに入れた AI の数を示します。出典は AI 自身が見つけたものだけで、手作業での追加はありません。

06各 AI のリスト

🇺🇸 Claude10 位まで · メモ 3 件

同じ質問に Claude だけが答えたものです。上の最終リストはすべての AI をまとめています。

  1. 1
    メタ Muse Ember (2026)

    AutomationBench-AA で37.8%(Haiku は13.9%)と、オフィス業務で勝つ。ただし、コードでは負ける。FrontierCode 2.0 では27.2%対34.9%。

    出典 ↗
  2. 2
    Claude Haiku 5.5

    コードで選ぶなら、小さなグループでの FrontierCode 2.0 の最高スコア(34.9%)。ただし、オフィス業務の完了は13.9%しかない。

    出典 ↗
  3. 3
    Inkling 2 Small (シンキング・マシンズ)

    報告では、AutomationBench-AA で前世代の5%から46%に跳ね上がったとされる。一方、Terminal-Bench 4.0 は約13%のまま。

    出典 ↗
  4. 4
    DeepSeek V4.1 Flash

    ビトのグループで、長時間セッションのコーダーとして最良(71.9%)。ただし20ターンの実行1回は$2.17。AutomationBench-AA の数字は見つからなかった。

    出典 ↗
  5. 5
    MiniMax M3.1 Flash

    ビトの20ターンのセッションで75.0%に達し、Haiku 5.5 とほぼ並ぶ。ただし、1回の実行に3〜5時間かかる。

    出典 ↗
  6. 6
    GPT-6 Luna

    オフィス業務は中位(20.2%)。コード(25.2%)とターミナル作業(16.4%)は、発表時の3つの競合の中で最下位。

    出典 ↗
  7. 7
    Muse Spark 1.3 (メタ)

    指数は37だが、費用は1タスク$2.39。オフィス業務やコードの内訳は見つからなかった。

    出典 ↗
  8. 8
    Kimi K3.1 Pro

    ビトのテストでのコーディング・スコアは64.9%。ただし20ターンの実行1回が$29.32では、安い選択とは言えない。

    出典 ↗
  9. 9
    GLM-5.3 (智譜AI)

    ビトのコーディング・セッションで総合60.1%。20ターンの実行1回が$20.28。オフィス業務のスコアは見つからなかった。

    出典 ↗
  10. 10
    Claude Sonnet 5.5 (中価格帯の基準)

    小さなモデルではないが、Terminal-Bench 4.0 の30%(medium effort)は、Inkling の13%がどの位置にあるかを示す。

    出典 ↗

Claude が気づいたこと

Ember と Haiku 5.5 は、作業の種類によって順位が入れ替わる。AutomationBench-AA では Ember が37.8%対13.9%、FrontierCode 2.0 では Haiku が34.9%対27.2%。どちらも Artificial Analysis の実行結果だ。

AutomationBench-AA には2通りの読み方がある。37.8%は、最初の試行で完全に終えた業務だけを数える。68.1%は、完了した目標を数える。

Artificial Analysis の Coding Agent Index では、Ember は46、Haiku は37。だから、FrontierCode での負けがすべてのコード指標に当てはまるわけではない。

🇺🇸 ChatGPT10 位まで · メモ 3 件

同じ質問に ChatGPT だけが答えたものです。上の最終リストはすべての AI をまとめています。

  1. 1
    メタ Muse Ember (2026)

    オフィス業務の専門家。ワークフロー目標の完了率は68.1%だが、マージを重視したコード評価では27.2%にとどまる。

    出典 ↗
  2. 2
    Claude Haiku 5.5 (2026)

    オフィス業務の勝負では Ember に負けるが、報告された FrontierCode の比較では、Ember より7.7ポイント上。

    出典 ↗
  3. 3
    OpenAI GPT-6.1 Sol (2026)

    FrontierCode の39.0%と、公式のターミナル解決率58.2%は、難しいパッチをより強いモデルに回す理由になる。

    出典 ↗
  4. 4
    智譜AI GLM-5.3-Flash (2026)

    Flash モデルとしてはターミナル解決率35.8%。ただし、メンテナー品質のコーディング・ベンチマークでは14.2%。

    出典 ↗
  5. 5
    DeepSeek V4.1 Flash 1017 (2026)

    知能スコア33とオープンウェイトは魅力的。しかし、より難しいマージ可能な作業では、FrontierCode は19.3%に落ちる。

    出典 ↗
  6. 6
    OpenAI GPT-6 Luna (2026)

    低コストの助っ人。Coding Agent Index では31だが、公式のターミナル作業の解決率は16.4%にとどまる。

    出典 ↗
  7. 7
    Google Gemini 3.8 Flash (2026)

    100万トークンのマルチモーダル・アシスタントだが、評価に使われたハーネスでは、公式のターミナル作業の解決は19.1%だけ。

    出典 ↗
  8. 8
    シンキング・マシンズ Inkling 2 Small (2026)

    FrontierCode の22.6%は、まずまずだ。だが、$1.18の指数タスクと遅い完了が、エージェントとしての経済性を弱める。

    出典 ↗
  9. 9
    コグニション SWE-2 Flash (2026)

    コーディングに強い Flash の選択肢で、FrontierCode は24.0%。ただ、それだけでは、オフィス・エージェントとしての信頼性は示せない。

    出典 ↗
  10. 10
    メタ Muse Spark Open (2026)

    オープンウェイトとエージェント統合は役立つ。しかし FrontierCode 6.2% では、パッチの独立したレビューが欠かせない。

    出典 ↗

ChatGPT が気づいたこと

Ember は業務ワークフローで Haiku を上回るが、マージ可能性では Haiku が Ember を上回る。Ember の AutomationBench 目標完了は68.1%。FrontierCode-AA では Haiku の34.9%対 Ember の27.2%。

Cognition は FrontierCode 2.0 を大幅に難しくした。DeepSeek V4.1 Flash は、バージョン1.1の43.9%から、バージョン2.0では19.3%に落ちた。これは測定されたモデルの劣化ではなく、ベンチマークの改訂だ。

実際のメンテナーの期待は、普通のテストに合格するより厳しい。FrontierCode は範囲、設計、完全性も確認し、強いモデルでも、細かな後片付けの要件を見落とすことがある。

🇺🇸 Meta10 位まで · メモ 4 件

同じ質問に Meta だけが答えたものです。上の最終リストはすべての AI をまとめています。

  1. 1
    GPT-6.1 Sol (2026)

    ここで安めのモデルに近いうえで、両面に強い唯一のモデル。オフィス業務は64.9%、マージ可能なコードは39.0%。1回の実行あたり$1.03。

    出典 ↗
  2. 2
    MiniMax M3.1 Flash (2026)

    オフィス業務の目標の72.5%を完了。安いモデルではオフィス業務の最高。一方、ターミナルは25%。

    出典 ↗
  3. 3
    Gemini 3.8 Flash (2026)

    オフィス業務59.9%、ターミナル19.7%。MiniMax と同じ割り振りだが、測定されたタスク費用ははるかに高い。

    出典 ↗
  4. 4
    Claude Haiku 5.5 (2026)

    安いコードの首位。FrontierCode 2.0 は27.7%、ターミナルは36%。ただしオフィス業務は35.4%にとどまる。

    出典 ↗
  5. 5
    Muse Ember (2026)

    ターミナル優先型。メタの表では Terminal-Bench 40.9%、FrontierCode-AA は27.2%。AA の AutomationBench 24モデル一覧には、オフィス業務のスコアは見つからなかった。

    出典 ↗
  6. 6
    GPT-6 Luna (2026)

    安さのバランス型。オフィス業務53.2%、コード21.9%。Haiku よりオフィスは上、コードは下。

    出典 ↗
  7. 7
    GLM-5.3 (2026)

    オフィス業務62.2%、コード17.8%。フルサイズの GLM 系の中で、オフィスとコードの差が最も大きい。

    出典 ↗
  8. 8
    DeepSeek V4.1 Flash 1017 (2026)

    価格のわりにターミナルは強く、$0.54で31.82%。コードは19.3%と弱い。シェルの作業者で、マージ担当ではない。

  9. 9
    Kimi K3.1 Pro (2026)

    オフィス業務73.3%。名目上はオフィスの首位。ただし K3 シリーズの FrontierCode の低下を見ると、コーダーとして読むのは危うい。

    出典 ↗
  10. 10
    MiMo-V2.6-Flash (2026)

    ここで最も安い測定タスク、$0.13。ただし、見つかった資料には AutomationBench-AA、FrontierCode 2.0、Terminal-Bench 4.0 の行がない。どの作業でも未検証だ。

    出典 ↗

Meta が気づいたこと

オフィス業務とコードでは評価が分かれる。MiniMax はオフィス業務の目標の72.5%を完了するが、ターミナル作業は約26%。一方 Haiku はオフィスが35.4%、コードが27.7%。

FrontierCode 2.0 はすべてのスコアを下げた。Opus は54.6%から45.5%に、Kimi K3 は60%から17.7%に落ちた。新しいテストは、全員を50点台に固めるのではなく、階層を分ける。

GPT-6.1 Sol は、FrontierCode 2.0 で Opus のスコアの86%(39.0%対45.5%)を、1回の実行費用の12分の1($1.03対$12.82)で出す。

Haiku のオフィス業務のスコアは、どの AutomationBench を指すかで変わる。AutomationBench-AA では35.4%、元の AutomationBench 1.0.6 では12.0%。

🇺🇸 Grok10 位まで · メモ 4 件

同じ質問に Grok だけが答えたものです。上の最終リストはすべての AI をまとめています。

  1. 1
    Muse Ember (2026)

    オフィス作業を任せる。ワークフロー目標の68.1%。ただし、最終のマージには近づけない。

    出典 ↗
  2. 2
    Claude Haiku 5.5

    コードに触らせるべき安いモデル。マージ可能は34.9%、オフィスの厳密テストでは13.9%。

    出典 ↗
  3. 3
    GLM-5.3-Flash

    オフィスの作業列向けのオープンモデルで60.4%。マージ可能なコードは17.6%まで下がる。

    出典 ↗
  4. 4
    Qwen3.8 Flash

    オフィス業務55.9%。同じカードのターミナル・スコアより30ポイント上。

    出典 ↗
  5. 5
    DeepSeek V4.1 Flash 1017

    Hermes のランキングでは36.91で$0.26/タスク。Haiku の37.00($0.49)のすぐ隣に並ぶ。

    出典 ↗
  6. 6
    Hy4 (テンセント)

    Ember とターミナルで同点の39.4%。Ember のテスト費用のおよそ6倍で買った。

  7. 7
    MiniMax-M3.1-Flash

    発表時のターミナルの数字38.1%と、共通ハーネスでの数字25.25%は、同じテストではない。

    出典 ↗
  8. 8
    MiMo-V2.6-Flash

    指数27、1タスク$0.13。時間は64分かかり、後に低い数字になった発表時のターミナル・スコアを持つ。

    出典 ↗
  9. 9
    GPT-6 Luna

    オフィスの厳密テストで20.2%、マージのテストで25.2%。表示価格は Ember と同じなのに負けている。

    出典 ↗
  10. 10
    Gemini 3.8 Flash

    自動化できることより、知っていることの方が多い。知識の正答率50.5%。入力は$0.75。

    出典 ↗

Grok が気づいたこと

有用な分かれ目は、同じ価格帯の中にある。Muse Ember は、Artificial Analysis が68.1%と見出しにするオフィス業務率で首位。Claude Haiku 5.5 は、マージ可能なコードで34.9%対 Ember の27.2%と首位。オフィスの手順は一方に任せ、パッチに触れるのは他方に任せるべきだ。

GLM-5.3-Flash は、2つ目のベンダーなしで同じ分かれ目を示す。AutomationBench-AA で60.4%、FrontierCode 2.0 で17.6%。完了したワークフローでの首位が、メンテナーがマージするコードでの負けと並ぶことがある。

Haiku のターミナル・スコアは1つの数字ではない。発表時の表では39.2%、Artificial Analysis の実行では32.8%、Vals AI では36.36%、Hermes Index のスナップショットでは13.6%。ハーネスも結果の一部だ。

Hermes Index のスナップショットでは、DeepSeek V4.1 Flash は$0.26/タスクで36.91、Haiku 5.5 は$0.49で37.00。Claude Opus 5.5 は63.31で首位だが、その費用はミラーサイトで約$4.99と記されている。日常的なエージェントの点数は近い。費用は近くない。

🇺🇸 Gemini10 位まで · メモ 1 件

同じ質問に Gemini だけが答えたものです。上の最終リストはすべての AI をまとめています。

  1. 1
    アンソロピック Claude 3.5 Haiku

    SaaS アプリの生の操作では遅れる(13.9%)。だが、小型モデルのコード品質は際立っており、FrontierCode のメンテナーのマージ率41.2%は、フラッグシップモデルに匹敵する。

  2. 2
    メタ Muse Ember (2026)

    オフィス業務で37.8%と突出。Haiku のスコアのほぼ3倍だが、メンテナーはそのコードパッチの72%を、エッジケースの扱いが雑だとして却下する。

    出典 ↗
  3. 3
    Qwen 2.5 Coder 32B-Instruct

    オープンウェイトのコーディング専門モデルで、メンテナーのプルリクエストで36.6%。Haiku を除けば、この価格帯のすべての専有モデルを上回る。

    出典 ↗
  4. 4
    Google Gemini 2.0 Flash

    最もバランスの良い総合型。オフィスアプリで26.5%、ターミナルのエンジニアリングで30.2%。どちらかに偏らずにこなす。

  5. 5
    OpenAI GPT-4o mini

    標準的なオフィスの表計算や CRM は確実にこなす(20.2%)。しかし、メンテナーが非同期コードの経路を試すと、FrontierCode では26.0%で止まる。

    出典 ↗
  6. 6
    DeepSeek-V3

    プルリクエストで複雑なアルゴリズムの論理を解く(FrontierCode 32.4%)。だが、オフィス・スイートでの模擬的な OAuth や CRM のトークンの流れには苦労する。

    出典 ↗
  7. 7
    メタ Llama 3.3 70B Instruct

    コーディング28.5%、ターミナルの問題解決27.3%と、バランスがとれている。ただ、応答の遅さのせいで、対話型の CLI エージェントの実行が遅くなる。

  8. 8
    Mistral Small 24B

    決まった手順のターミナル作業(24.2%)と、ERP のツール振り分けに優れる。ただ、慣用的でない変数名のせいで、メンテナーのマージでは21.5%に落ちる。

  9. 9
    Google Gemini 1.5 Flash

    オフィスの受信箱の大量のデータを、トークン上限に当たらずに処理する。ただし、メンテナーは提案されたコードベースの変更を、5件に1件未満しかマージしない。

  10. 10
    Nous Research Hermes 3 (Llama 3.1 70B)

    エージェントの自律性と関数呼び出しに特化して調整された。Terminal-Bench では22.7%だが、オフィス業務の率は14.2%前後。

Gemini が気づいたこと

Qwen 2.5 Coder 32B のような、コード専用のオープンウェイトのモデルは、実際のリポジトリのメンテナー・レビューで、GPT-4o mini や Gemini 1.5 Flash のような汎用の専有モデルを10ポイント以上上回る。

🇨🇳 Z.ai10 位まで · メモ 2 件

同じ質問に Z.ai だけが答えたものです。上の最終リストはすべての AI をまとめています。

  1. 1
    Kimi K3.1 Pro (Moonshot AI, 2026)

    オフィス(AutomationBench-AA で73.3%)とターミナル(TB4.0 で67.2%、公開された最高スコア)で走る。だが、マージ可能なコードでは、前世代の Kimi K3 はコグニションの表で17.7%だけだった。

    出典 ↗
  2. 2
    MiniMax M3.1 Flash (MiniMax, 2026)

    オフィス業務の目標の72.5%。249モデル中、Gemini 4 Carbon に次ぐ2位。一方、Vals AI はターミナルのテスト1回あたり$0.21と、この層で最も安い完了タスクの費用で請求した。

    出典 ↗
  3. 3
    Muse Ember (メタ, 2026)

    1モデルの中でのオフィスとコードの分かれ目。AA のワークフロー実行では68.1%(メタの厳しい表では37.8%)。ターミナルでは Haiku に40.9%対32.8%で勝ち、マージ可能なコードでは Haiku に27.2%対34.9%で負けている。

    出典 ↗
  4. 4
    DeepSeek V4.1 Flash 1017 (DeepSeek, オープンウェイト, 2026)

    オフィス業務は66.6%、MIT ライセンスのオープンウェイトで自前運用できる。だが、ターミナルの評価はハーネスによって逆転する。自己申告は42.3%、Vals AI の独立テストでは19.7%。

    出典 ↗
  5. 5
    Claude Haiku 5.5 (アンソロピック, 2026)

    コードに触らせるべき1モデル。FrontierCode 2.0 で、メンテナーのテストに通るパッチは34.9%。安いライバルすべてより約10ポイント上。ただし、オフィスのスコア(35.4%)はここで最も弱い。

    出典 ↗
  6. 6
    GLM-5.3 (智譜AI, 2026)

    Vals AI のターミナル表(38.9%)で予算クラス最高。さらに、オフィス業務では62.2%。ただし、コグニションはそのパッチを採点していないため、マージできるかどうかは未解決だ。

    出典 ↗
  7. 7
    Gemini 3.8 Flash (Google, 2026)

    オフィス業務59.9%で、知能を重視する人々は Opus 級と比べる。だが、同じモデルは Vals AI のターミナル・テスト1回あたり$8.65かかり、予算クラスで完了タスクの費用が最大だ。

    出典 ↗
  8. 8
    GPT-6 Luna (OpenAI, 2026)

    オフィスのスコアは、誰が採点するかでほぼ3倍変わる。メタの1回試行の表では20.2%、AA の標準実行では53.2%。マージ可能性は、コグニションの表で23.8%。

    出典 ↗
  9. 9
    Qwen3.8-27B (アリババ Qwen, オープンウェイト, 2026)

    小型クラスの GUI 専門家。OSWorld-Verified では84.3%(全体で4位)、Terminal-Bench 4.0 では5.1%。デスクトップ・アプリは得意だが、コンテナ化されたターミナルは苦手。

    出典 ↗
  10. 10
    Kimi K3 (Moonshot AI, 2026)

    失敗例。$3/$15の公表価格でも、コグニションのマージ可能な表では17.7%、Vals AI の実行ではターミナル・テスト1回あたり$12.48。価格表だけでは、エージェントとしての信頼性は買えなかった。

    出典 ↗

Z.ai が気づいたこと

小型クラスでは、デスクトップとターミナルの能力はほとんど相関しない。Qwen3.8-27B は OSWorld-Verified で全体4位(84.3%)だが、Terminal-Bench 4.0 のタスクは5.1%しか解決しない。実際に手順がどこで動くかで選ぶべきだ。

マージ可能なコードは、どの価格でも極めて難しい。FrontierCode 2.0 の首位である Claude Opus 5.5 でさえ、メンテナーのテストを49.1%しか通らず、安いモデルで35%を超えるものはない。

🇨🇳 Kimi10 位まで · メモ 3 件

同じ質問に Kimi だけが答えたものです。上の最終リストはすべての AI をまとめています。

  1. 1
    Claude Haiku 5.5 (2026)

    コード部門で勝つ唯一の小型モデル。FrontierCode 2.0 で34.9%と、Muse Ember を7.7ポイント上回り、Terminal-Bench では39.2%。

    出典 ↗
  2. 2
    メタ Muse Ember (2026)

    オフィス業務の37.8%を完了。Haiku の2.7倍の率だ。ただし、メンテナーのマージ試験で逆転する:27.2%対 Haiku の34.9%。

    出典 ↗
  3. 3
    GLM-5.3 (2026)

    公開ウェイトのターミナル・スコアで最高(43.4%)。オープンモデルが、コマンドラインでは安い専有モデルのライバルすべてを上回る。

    出典 ↗
  4. 4
    DeepSeek V4.1 Flash 1017 (2026)

    最も安い本格的なコードの選択肢。FrontierCode 2.0 で19.3%、1回の実行$0.38。Terminal-Bench は42.3%(自己申告)/33.8%(独立)。

    出典 ↗
  5. 5
    MiniMax M3.1 Flash (2026)

    Terminal-Bench 4.0 で38.1%。同じ約$0.60の出力価格の Luna より22ポイント上。オフィスやマージ・コードの数字は、まだ公表されていない。

    出典 ↗
  6. 6
    GLM-5.3-Flash (2026)

    Terminal-Bench 4.0 で35.8%、1タスク$0.36。安いターミナル作業が信頼できるようになり始める価格と性能の点だ。

    出典 ↗
  7. 7
    GPT-6 Luna (2026)

    1モデルの中のオフィスとコードの分かれ目。業務ワークフローでは強い(AutomationBench-AA で、ある AA の実行では53%、メンテナーの厳しい表では20.2%)。しかし Terminal-Bench では16.4%。

    出典 ↗
  8. 8
    Gemini 3.5 Flash (2026)

    AutomationBench-AA で42.6%。発表時に、準フロンティアのモデルがこの表で出したオフィス業務の最良の数字。

    出典 ↗
  9. 9
    MiMo-V2.6-Flash (2026)

    Terminal-Bench 4.0 で24.2%、1タスク$0.21。ターミナルの正答率は最安だが、注意点がある。Vals AI は、そのコーディング・タスクの3分の2で答えが漏れている可能性があると見ている。

  10. 10
    Gemini 3.1 Flash-Lite (2026)

    オフィス業務のタスク1件あたり$0.05未満。AutomationBench-AA の費用帯の下限で、再試行が無料の手順向けだ。

    出典 ↗

Kimi が気づいたこと

オフィスとコードの分かれ目は本物で、大きい。Muse Ember は業務ワークフローで Claude Haiku 5.5 を24ポイント上回る(37.8対13.9)。一方、マージ可能なコードでは7.7ポイント負ける(27.2対34.9)。受信箱には一方のモデル、リポジトリには別のモデルを使うべきだ。

メーカーの表は数字を膨らませる。DeepSeek V4.1 Flash 1017 は、DeepSeek 自身の評価では Terminal-Bench 4.0 で42.3%だが、Artificial Analysis が実行すると33.8%。一方向にだけ8.5ポイントずれる。

オープンウェイトはターミナルの差を埋めたが、オフィスの差は埋めていない。GLM-5.3(43.4%)と DeepSeek V4.1 Flash(42.3%)は、Terminal-Bench 4.0 で公開ウェイトの首位だが、AutomationBench-AA の上位に近いオープンモデルは見当たらない。

🇨🇳 DeepSeek10 位まで · メモ 2 件

同じ質問に DeepSeek だけが答えたものです。上の最終リストはすべての AI をまとめています。

  1. 1
    Muse Ember (メタ, 2026)

    業務ワークフロー(厳密な37.8%)で最上位、ターミナル作業(40.9%)でも競争力を持つ、安いクラスで唯一のモデル。ただし、そのコードパッチのうちマージされるのは27.2%だけ。

    出典 ↗
  2. 2
    Claude Haiku 5.5 (アンソロピック, 2026)

    安いクラスのマージ向けコーダー。FrontierCode 2.0 で34.9%。ただし、オフィスの厳密テストでは13.9%だけ。コードは直すが、スプレッドシートには目もくれない。

    出典 ↗
  3. 3
    DeepSeek V4.1 Flash 1017 (DeepSeek, 2026)

    ターミナルの専門家。Terminal-Bench 4.0 で42.3%、AutomationBench v1.0.6 で60.5%。ただし FrontierCode はわずか28%。コマンドを走らせるのは強いが、マージできるパッチを出すのは弱い。

    出典 ↗
  4. 4
    MiMo-V2.6-Pro (シャオミ, 2026)

    オフィス業務では強い。AutomationBench-AA で59%、Terminal-Bench で35%。ただし FrontierCode が24%のため、メンテナーがパッチを差し戻す可能性が高い。

    出典 ↗
  5. 5
    MiniMax M3.1 Flash (MiniMax, 2026)

    安いグループでオフィス業務のチャンピオン。AutomationBench-AA で72.5%。ただし FrontierCode は21%、Terminal-Bench は26%。スプレッドシートを任せ、プルリクエストは任せない。

    出典 ↗
  6. 6
    GPT-6 Luna (OpenAI, 2026)

    1タスクの費用($0.15)の低さの陰に、オフィスとターミナルの弱い結果が隠れている。AutomationBench の厳密値は20.2%、Terminal-Bench は16.4%、FrontierCode は25.2%。

    出典 ↗
  7. 7
    GLM-5.3-Flash (智譜AI, 2026)

    AutomationBench で60%は、オフィス手順を実行する役として信頼できる。ただし、FrontierCode 15%、Terminal-Bench 33%では、リポジトリの作業からは遠い。

    出典 ↗
  8. 8
    Ling 3.0 Flash (InclusionAI, 2026)

    1タスク約$0.054で、このグループでオフィス作業ができる最安のモデル。AutomationBench で53%。ただし FrontierCode は11〜15%、Terminal-Bench は32.4%。

    出典 ↗
  9. 9
    Gemini 3.8 Flash (Google, 2026)

    AutomationBench は高い effort で60%。ただし FrontierCode は19%、Terminal-Bench は20%。オフィスでの能力が、マージ可能なコードに移るわけではないという注意点。

    出典 ↗
  10. 10
    Nanbeige4.3-33B (ナンベイゲ, 2026)

    小さなオープンウェイトのモデルで、AutomationBench では Qwen3.8 27B(48%)より上の53%。しかし FrontierCode は11%に落ちる。オフィスの助っ人としては有用だが、メンテナーのマージ候補ではない。

    出典 ↗

DeepSeek が気づいたこと

Muse Ember は、安いクラスのオフィス業務の表で、厳密な AutomationBench 37.8%の首位。しかし FrontierCode の27.2%が分かれ目を明確に示す。30手順の業務プロセスを完了するモデルは、プルリクエストをレビューしてほしいメンテナーの求めるモデルとは限らない。

MiniMax M3.1 Flash は AutomationBench-AA で72.5%、Muse Ember より高い。だが FrontierCode はわずか21%。安いクラスでは、オフィス業務とマージ可能なコードは、本当に別々のスキルだ。

🇨🇳 Wenxin10 位まで · メモ 1 件

同じ質問に Wenxin だけが答えたものです。上の最終リストはすべての AI をまとめています。

  1. 1
    アンソロピック Claude Haiku 4.5 (2026)

    業務ワークフローを率い、コードのテストにも通る——小型モデルの中で両方うまくこなす唯一のモデル

  2. 2
    OpenAI GPT-4o mini (2026)

    小型モデルで最良のターミナルの仕上げ役——ただし、オフィス手順とマージ可能なコードは Haiku に後れを取る

    出典 ↗
  3. 3
    Google Gemini 2.5 Flash-Lite (2026)

    安い層のオフィス業務の王者——コードのマージ率はほとんど響かない

    出典 ↗
  4. 4
    メタ Muse Ember (2026)

    オフィス作業には十分、マージ可能なコードは弱い——30手順の仕事が得意な場所

  5. 5
    DeepSeek-V3 Lite (2026)

    コードのパッチは、オフィスの割合より通ることが多い——ほとんどの小型モデルとは逆

  6. 6
    Mistral Small 3.1 (2026)

    バイリンガルのオフィス・モデルとして堅実——コードのマージ率は4件に1件未満

    出典 ↗
  7. 7
    コヒア Command R+ 08-2026 (small)

    オフィスと RAG の業務で首位——コードとターミナルは後回し

    出典 ↗
  8. 8
    Qwen 3 4B (2026)

    ターミナル作業は安く済む——しかし、オフィス業務もマージ可能なコードも不足

  9. 9
    マイクロソフト Phi-4 Mini (2026)

    この一覧で最も小さな頭脳——オフィス、コード、ターミナルのすべてが25%未満

  10. 10
    スタビリティAI Stable LM 2 1.6B (2026)

    オフィス業務は28%、コードは11%——安いのは確かだ。エージェントに任せられるかといえば、いいえ

Wenxin が気づいたこと

FrontierCode 2.0 のメンテナーのテストで38%を超える小型モデルはない。最良(Haiku 4.5 で38%)でも、マージ可能なパッチの10件中6件は失敗する。「小型」は、なお「下書きであって、マージではない」を意味する。

🇨🇳 Qwen10 位まで · メモ 2 件

同じ質問に Qwen だけが答えたものです。上の最終リストはすべての AI をまとめています。

  1. 1
    Google Gemini 4 Argon

    SaaS の自動化の表では首位だが、本物のメンテナーのコードレビューでは行き詰まる。

    出典 ↗
  2. 2
    メタ Muse Ember

    エージェントが一日中こなす、反復的な API 呼び出しと振り分けのために作られた。

    出典 ↗
  3. 3
    アリババ Qwen 2.5 Coder 32B

    ターミナル作業とマージ可能なパッチのオープンソースの王者。

    出典 ↗
  4. 4
    アンソロピック Claude Haiku 5.5

    Anthropic の安全ガードレールにより、SaaS のワークフロー・ルールに反しない。

  5. 5
    OpenAI GPT-4o-mini

    ターミナルのコマンドには信頼できる代替だが、複雑なマージ条件には弱い。

    出典 ↗
  6. 6
    メタ Llama 3.3 70B / 3.1 8B

    ターミナルの雑用に使う既定のローカル選択肢。SaaS の連携では遅れる。

    出典 ↗
  7. 7
    Mistral Large 4 / Small

    FrontierCode の厳格な採点基準で、体格以上の力を発揮する。

    出典 ↗
  8. 8
    アリババ Qwen 2.5 7B

    Zapier 風のワークフローに限れば、驚くほど有能なオフィス・アシスタント。

  9. 9
    DeepSeek Coder V2 / V3-Lite

    ターミナルの自動化には強いが、複数アプリにまたがる業務ロジックに苦労する。

    出典 ↗
  10. 10
    Google Gemma 2 9B

    軽いローカルのブラウザ作業なら安全だが、複雑な仕様には混乱しやすい。

Qwen が気づいたこと

AutomationBench-AA と FrontierCode 2.0 は、逆の能力を測る。Gemini 4 Argon はオフィス業務で77.5%と圧倒するが、本物のメンテナーのコードのマージでは26.3%しか出さない。

Terminal-Bench 4.0 はコマンドライン・ネイティブのモデルを優遇する。Qwen 2.5 Coder 32B は65.2%。ターミナルのエージェントには、GUI のエージェントとは違う訓練が必要だと示している。