Zurück zum Trend des Tages: Meta sagt: Günstige KI erreicht Anthropic-Niveau für ein Drittel der Kosten
Poly-Ranking · aus dem Trend des Tages

Bestes Modell für KI-Agenten 2026: Büroarbeit gegen Code

Muse Ember erledigt 68,1 % der Ziele im Büro-Workflow, Claude Haiku 5.5 nur 35,4 %. Doch die Code-Änderungen von Haiku bestehen die Tests der Projektbetreuer öfter: 34,9 % gegenüber 27,2 %.

  • Nr. 1: Meta Muse Ember
  • 10 Plätze

01Endgültige Liste

Die führenden KIs haben unabhängig voneinander jeweils eine eigene Liste mit zehn Plätzen erstellt. Hier steht ein leicht prüfbares Ergebnis: Jeder Platz hat einen Grund, eine Quelle und die Liste der KIs, die ihn aufgenommen haben.

Reihenfolge: von größter bis geringster Übereinstimmung der KIs.

Ein helles Kennzeichen heißt: Diese KI hat den Eintrag auf ihre Liste gesetzt. Ein blasses: hat sie nicht.

  1. 1

    Meta Muse Ember

    Geben Sie ihm die Schritte im Büro: Es erledigt 68,1 % der Workflow-Ziele, Haiku 35,4 %. Lassen Sie es die finale Zusammenführung nicht übernehmen; dort erreicht es 27,2 % gegenüber 34,9 % bei Haiku.

    Aufgenommen: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek, Qwen. Nicht aufgenommen: Gemini, Wenxin.

    In ihren Listen: Claude: 1 · ChatGPT: 1 · Meta: 5 · Grok: 1 · Z.ai: 3 · Kimi: 2 · DeepSeek: 1 · Qwen: 2

    Was jede KI angemerkt hat 8
    • ClaudePlatz 1

      Gewinnt die Büroarbeit mit 37,8 % bei AutomationBench-AA (Haiku 13,9 %), verliert aber beim Code: 27,2 % gegenüber 34,9 % bei FrontierCode 2.0.

      Quelle ↗
    • ChatGPTPlatz 1

      Der Büro-Spezialist: 68,1 % erledigte Ziele bei Arbeitsabläufen, aber nur 27,2 % bei der auf Zusammenführbarkeit ausgerichteten Code-Bewertung.

      Quelle ↗
    • MetaPlatz 5

      Terminal zuerst: 40,9 % bei Terminal-Bench in Metas Tabelle, 27,2 % bei FrontierCode-AA – der Büro-Wert steht nicht in der gefundenen AA-AutomationBench-Liste mit 24 Modellen.

      Quelle ↗
    • GrokPlatz 1

      Gib ihm die Büroschritte: 68,1 % der Arbeitsziele, dann halte es vom letzten Zusammenführen fern.

      Quelle ↗
    • Z.aiPlatz 3

      Die Office-Code-Teilung in einem Modell: 68,1 % im Workflow-Lauf von AA (Metas eigene strengere Tabelle nennt 37,8), ein Terminal-Sieg gegenüber Haiku mit 40,9 % zu 32,8 % – und eine Niederlage gegen Haiku beim zusammenführungsfähigen Code mit 27,2 % zu 34,9 %.

      Quelle ↗
    • KimiPlatz 2

      Erledigt 37,8 % der Büroabläufe – 2,7-mal Haikus Quote –, doch der Maintainer-Merge-Test dreht es: 27,2 % gegenüber Haikus 34,9 %.

      Quelle ↗
    • DeepSeekPlatz 1

      Das einzige günstige Modell, das bei Geschäftsabläufen (37,8 % streng) und bei Terminal-Arbeit (40,9 %) gleichzeitig Spitzenklasse ist – aber nur 27,2 % seiner Code-Patches würden übernommen.

      Quelle ↗
    • QwenPlatz 2

      Speziell für die repetitiven API-Aufrufe und Routing-Aufgaben entwickelt, die Agenten den ganzen Tag erledigen.

      Quelle ↗
    8 KIs setzten es hierher
  2. 2

    Claude Haiku 5.5

    Das günstige Modell, das am Code arbeiten darf: 34,9 % im Lauf von Artificial Analysis für FrontierCode, auch wenn die eigene Rangliste von Cognition 27,7 % angibt. Bei Büroarbeit erledigt es nur 35,4 %.

    Aufgenommen: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek, Qwen. Nicht aufgenommen: Gemini, Wenxin.

    In ihren Listen: Claude: 2 · ChatGPT: 2 · Meta: 4 · Grok: 2 · Z.ai: 5 · Kimi: 1 · DeepSeek: 2 · Qwen: 4

    Was jede KI angemerkt hat 8
    • ClaudePlatz 2

      Die Code-Wahl: die beste FrontierCode-2.0-Quote in der kleinen Gruppe (34,9 %), erledigt aber nur 13,9 % der Büroabläufe.

      Quelle ↗
    • ChatGPTPlatz 2

      Es verliert den Büro-Wettbewerb gegen Ember, schlägt es aber um 7,7 Punkte bei dem gemeldeten FrontierCode-Vergleich.

      Quelle ↗
    • MetaPlatz 4

      Der günstige Code-Spitzenreiter: 27,7 % bei FrontierCode 2.0 und 36 % beim Terminal, aber nur 35,4 % bei Büroabläufen.

      Quelle ↗
    • GrokPlatz 2

      Das günstige Modell, das Code anfassen sollte: 34,9 % zusammenführbar, 13,9 % streng im Bürotest.

      Quelle ↗
    • Z.aiPlatz 5

      Das Modell, das Code anfassen soll: 34,9 % der Patches bestehen die Tests der Maintainer bei FrontierCode 2.0, etwa zehn Punkte über jedem günstigen Mitbewerber – während sein Bürowert (35,4 %) hier der schwächste ist.

      Quelle ↗
    • KimiPlatz 1

      Das einzige kleine Modell, das die Code-Spalte gewinnt – FrontierCode 2.0 mit 34,9 % schlägt Muse Ember um 7,7 Punkte –, und es holt dabei 39,2 % bei Terminal-Bench.

      Quelle ↗
    • DeepSeekPlatz 2

      Der zusammenführungsfähige Coder der günstigen Klasse: 34,9 % bei FrontierCode 2.0, aber nur 13,9 % streng bei Büroabläufen – er repariert den Code und ignoriert die Tabelle.

      Quelle ↗
    • QwenPlatz 4

      Die Sicherheitsleitplanken von Anthropic verhindern, dass es SaaS-Workflow-Regeln verletzt.

    8 KIs setzten es hierher
  3. 3

    DeepSeek V4.1 Flash

    Stark bei Büroarbeit mit 66,6 %, aber nur 19,3 % auf der Code-Rangliste von Cognition. Sein Terminal-Ergebnis fällt von selbst gemeldeten 42,3 % auf 31,82 % im Test von Vals AI.

    Aufgenommen: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek. Nicht aufgenommen: Gemini, Wenxin, Qwen.

    In ihren Listen: Claude: 4 · ChatGPT: 5 · Meta: 8 · Grok: 5 · Z.ai: 4 · Kimi: 4 · DeepSeek: 3

    Was jede KI angemerkt hat 7
    • ClaudePlatz 4

      Bester Langsitzungs-Coder in Bitos Gruppe (71,9 %) für 2,17 $ pro 20-Runden-Lauf; keinen AutomationBench-AA-Wert gefunden.

      Quelle ↗
    • ChatGPTPlatz 5

      Ein Intelligenzwert von 33 und offene Gewichte sind attraktiv, doch FrontierCode fällt bei anspruchsvollerer, zusammenführungsfähiger Arbeit auf 19,3 %.

      Quelle ↗
    • MetaPlatz 8

      Für seinen Preis terminalstark mit 31,82 % bei 0,54 $, bei Code schwach mit 19,3 % – ein Shell-Arbeiter, kein Zusammenführer.

    • GrokPlatz 5

      Auf der Hermes-Tafel erreicht es 36,91 bei 0,26 $ pro Aufgabe, neben Haikus 37,00 bei 0,49 $.

      Quelle ↗
    • Z.aiPlatz 4

      66,6 % bei Büroabläufen und offene MIT-Gewichte zum Selbsthosten – doch seine Terminal-Bilanz kippt mit dem Testaufbau: 42,3 % selbst gemeldet gegenüber 19,7 % im unabhängigen Lauf von Vals.

      Quelle ↗
    • KimiPlatz 4

      Günstigste ernsthafte Code-Option: 19,3 % bei FrontierCode 2.0 zu 0,38 $ pro Durchlauf, Terminal-Bench bei 42,3 % selbst gemeldet / 33,8 % unabhängig.

      Quelle ↗
    • DeepSeekPlatz 3

      Der Terminal-Spezialist: 42,3 % bei Terminal-Bench 4.0 und 60,5 % bei AutomationBench v1.0.6, aber nur 28 % bei FrontierCode – stark beim Ausführen von Befehlen, schwächer beim Liefern zusammenführbarer Patches.

      Quelle ↗
    7 KIs setzten es hierher
  4. 4

    GPT-6 Luna

    Mittelmäßig bei Büroarbeit und schwach am Terminal: 53,2 % der Büroziele (20,2 % streng bewertet), 25,2 % beim Code und nur 16,4 % der Terminal-Aufgaben gelöst.

    Aufgenommen: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek. Nicht aufgenommen: Gemini, Wenxin, Qwen.

    In ihren Listen: Claude: 6 · ChatGPT: 6 · Meta: 6 · Grok: 9 · Z.ai: 8 · Kimi: 7 · DeepSeek: 6

    Was jede KI angemerkt hat 7
    • ClaudePlatz 6

      Mittelfeld bei Büroarbeit (20,2 %) und Schlusslicht der drei Start-Rivalen bei Code (25,2 %) und Terminal-Aufgaben (16,4 %).

      Quelle ↗
    • ChatGPTPlatz 6

      Ein günstiger Helfer mit 31 im Coding-Agent-Index, aber nur 16,4 % offiziell gelöste Terminal-Aufgaben.

      Quelle ↗
    • MetaPlatz 6

      Ausgewogen und günstig: 53,2 % Büro und 21,9 % Code – besser im Büro als Haiku, schwächer im Code als Haiku.

      Quelle ↗
    • GrokPlatz 9

      Verliert den strikten Bürotest mit 20,2 % und den Zusammenführungstest mit 25,2 % – bei einem Preisaufkleber, der dem von Ember entspricht.

      Quelle ↗
    • Z.aiPlatz 8

      Sein Bürowert schwankt je nach Bewerter fast um das Dreifache – 20,2 % in Metas Einzelversuch-Tabelle gegenüber 53,2 % im Standardlauf von AA –, und die Zusammenführbarkeit liegt bei 23,8 % auf Cognitions Tafel.

      Quelle ↗
    • KimiPlatz 7

      Die Office-über-Code-Teilung in einem Modell: stark bei Geschäftsabläufen (AutomationBench-AA 53 % in einem AA-Lauf, 20,2 % im strengeren Diagramm von Meta), aber 16,4 % bei Terminal-Bench.

      Quelle ↗
    • DeepSeekPlatz 6

      Eine niedrige Rechnung pro Aufgabe (0,15 $) verbirgt schwache Büro- und Terminal-Ergebnisse: 20,2 % strikt bei AutomationBench, 16,4 % bei Terminal-Bench und 25,2 % bei FrontierCode.

      Quelle ↗
    7 KIs setzten es hierher
  5. 5

    MiniMax M3.1 Flash

    Die beste Büro-Wertung unter den günstigen Modellen: 72,5 %. Sein Terminal-Ergebnis sinkt von selbst gemeldeten 38,1 % auf 25,25 % im Test von Vals AI. Nutzen Sie es für Apps, nicht für Shell-Aufgaben.

    Aufgenommen: Claude, Meta, Grok, Z.ai, Kimi, DeepSeek. Nicht aufgenommen: ChatGPT, Gemini, Wenxin, Qwen.

    In ihren Listen: Claude: 5 · Meta: 2 · Grok: 7 · Z.ai: 2 · Kimi: 5 · DeepSeek: 5

    Was jede KI angemerkt hat 6
    • ClaudePlatz 5

      Erreicht bei Bitos 20-Runden-Sitzungen 75,0 %, fast gleichauf mit Haiku 5.5, braucht aber 3 bis 5 Stunden pro Lauf.

      Quelle ↗
    • MetaPlatz 2

      72,5 % der Büroziele erledigt – der beste Bürowert unter den günstigen Modellen – neben einem Terminal-Wert von 25 %.

      Quelle ↗
    • GrokPlatz 7

      Die Terminal-Zahl zum Start, 38,1 %, und die Zahl im gemeinsamen Testaufbau, 25,25 %, sind nicht derselbe Test.

      Quelle ↗
    • Z.aiPlatz 2

      72,5 % der Büroziele – nach Gemini 4 Carbon an zweiter Stelle von 249 Modellen –, während Vals es mit nur 0,21 $ pro Terminal-Test abrechnete, die günstigste fertige Rechnung der Klasse.

      Quelle ↗
    • KimiPlatz 5

      38,1 % bei Terminal-Bench 4.0 – 22 Punkte über Luna bei etwa gleichem Output-Preis von 0,60 $, und noch keine Büro- oder Merge-Code-Zahlen veröffentlicht.

      Quelle ↗
    • DeepSeekPlatz 5

      Der Büro-Champion der günstigen Gruppe mit 72,5 % bei AutomationBench-AA, aber nur 21 % bei FrontierCode und 26 % bei Terminal-Bench – geben Sie ihm die Tabellen, nicht den Pull Request.

      Quelle ↗
    6 KIs setzten es hierher
  6. 6

    GLM-5.3-Flash

    Ein Modell mit offenen Gewichten für die Büro-Warteschlange mit 60,4 %. Zusammenführbarer Code liegt bei 14,2 % auf der Rangliste von Cognition und bei 17,6 % im Lauf von Artificial Analysis.

    Aufgenommen: ChatGPT, Grok, Kimi, DeepSeek. Nicht aufgenommen: Claude, Meta, Gemini, Z.ai, Wenxin, Qwen.

    In ihren Listen: ChatGPT: 4 · Grok: 3 · Kimi: 6 · DeepSeek: 7

    Was jede KI angemerkt hat 4
    • ChatGPTPlatz 4

      35,8 % gelöste Terminal-Aufgaben für ein Flash-Modell, aber nur 14,2 % beim Benchmark für Code-Qualität nach Maintainer-Maßstäben.

      Quelle ↗
    • GrokPlatz 3

      Ein offenes Modell für die Büro-Warteschlange mit 60,4 %, während zusammenführbarer Code auf 17,6 % fällt.

      Quelle ↗
    • KimiPlatz 6

      35,8 % bei Terminal-Bench 4.0 für 0,36 $ pro Aufgabe – der Preis-Leistungs-Punkt, an dem günstige Terminal-Arbeit verlässlich wird.

      Quelle ↗
    • DeepSeekPlatz 7

      Ein Wert von 60 % bei AutomationBench macht es zu einem glaubwürdigen Schritt-Ausführer im Büro, doch 15 % bei FrontierCode und 33 % bei Terminal-Bench halten es von Repository-Arbeit fern.

      Quelle ↗
    4 KIs setzten es hierher
  7. 7

    Gemini 3.8 Flash

    Erledigt 59,9 % der Büroziele, aber nur etwa 19 % der Terminal-Aufgaben. Vals AI rechnete 8,65 $ pro Terminal-Test ab, die höchste Rechnung in der Budget-Gruppe.

    Aufgenommen: ChatGPT, Meta, Z.ai, DeepSeek. Nicht aufgenommen: Claude, Grok, Gemini, Kimi, Wenxin, Qwen.

    In ihren Listen: ChatGPT: 7 · Meta: 3 · Z.ai: 7 · DeepSeek: 9

    Was jede KI angemerkt hat 4
    • ChatGPTPlatz 7

      Ein multimodaler Assistent mit Millionen-Token-Kontext, doch in seiner getesteten Umgebung wurden nur 19,1 % der offiziellen Terminal-Aufgaben gelöst.

      Quelle ↗
    • MetaPlatz 3

      59,9 % Büro, 19,7 % Terminal – dieselbe Aufteilung wie MiniMax, aber zu deutlich höheren gemessenen Kosten pro Aufgabe.

      Quelle ↗
    • Z.aiPlatz 7

      59,9 % bei Büroabläufen, und Intelligenz-Fans vergleichen es mit der Opus-Klasse – doch dasselbe Modell kostete Vals 8,65 $ pro Terminal-Test, die größte fertige Rechnung der Budgetklasse.

      Quelle ↗
    • DeepSeekPlatz 9

      Ein Wert von 60 % bei AutomationBench auf hohem Aufwand, aber nur 19 % bei FrontierCode und 20 % bei Terminal-Bench – eine Erinnerung, dass Büro-Können nicht auf zusammenführungsfähigen Code übertragbar ist.

      Quelle ↗
    4 KIs setzten es hierher
  8. 8

    Thinking Machines Inkling 2 Small

    Laut Angabe springt es bei Büroarbeit auf 46 %, das stammt aus einer einzigen Quelle. Der Code liegt bei 22,6 % bis 25 %. Nur 12,63 % der Terminal-Aufgaben gelingen.

    Aufgenommen: Claude, ChatGPT. Nicht aufgenommen: Meta, Grok, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen.

    In ihren Listen: Claude: 3 · ChatGPT: 8

    Was jede KI angemerkt hat 2
    • ClaudePlatz 3

      Soll bei AutomationBench-AA gegenüber dem Vorgänger von 5 % auf 46 % gesprungen sein, während Terminal-Bench 4.0 bei etwa 13 % bleibt.

      Quelle ↗
    • ChatGPTPlatz 8

      Sein Wert von 22,6 % bei FrontierCode ist achtbar, doch eine Index-Aufgabe für 1,18 $ und die langsame Fertigstellung schwächen die Agenten-Ökonomie.

      Quelle ↗
    2 KIs setzten es hierher
  9. 9

    Qwen3.8 Flash

    Seine Büro-Wertung von 55,9 % liegt 30 Punkte über seinem Terminal-Ergebnis von 25,3 % auf derselben Seite von Artificial Analysis. Nur eine Quelle meldet diese Zahlen.

    Aufgenommen: Grok. Nicht aufgenommen: Claude, ChatGPT, Meta, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen.

    In ihren Listen: Grok: 4

    Was jede KI angemerkt hat 1
    • GrokPlatz 4

      Büroarbeit mit 55,9 % liegt 30 Punkte über dem Terminal-Wert auf derselben Karte.

      Quelle ↗
    1 KIs setzten es hierher
  10. 10

    Qwen3.8-27B

    Ein Spezialist für Desktop-Arbeit auf dem Bildschirm, nicht für das Terminal: 84,3 % bei OSWorld-Verified, aber nur 5,1 % bei Terminal-Bench 4.0 und 48,2 % bei Büroarbeit. Nur eine Quelle meldet diese Zahlen.

    Aufgenommen: Z.ai. Nicht aufgenommen: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek, Wenxin, Qwen.

    In ihren Listen: Z.ai: 9

    Was jede KI angemerkt hat 1
    • Z.aiPlatz 9

      Der GUI-Spezialist der kleinen Klasse: 84,3 % bei OSWorld-Verified (insgesamt Vierter) gegenüber 5,1 % bei Terminal-Bench 4.0 – Desktop-Apps ja, containerisierte Terminals nein.

      Quelle ↗
    1 KIs setzten es hierher

Mehr über die ersten drei ↓

02Mehr über die ersten drei

Das Ranking steht oben. Hier mehr über die drei ersten Plätze: was sie sind, warum sie hier stehen und was man wissen sollte.

Die drei werden bei unterschiedlichen Tests verglichen: Embers 68,1% und DeepSeeks 66,6% stammen aus Büro-Arbeitsabläufen, Haikus 35,4% aus derselben Büro-Messung. Die Code- und Terminal-Werte stammen aus anderen Benchmarks, und einige sind Selbstangaben oder stammen von inde

1Meta Muse Ember

Nr. 1 — Meta Muse Ember. In den Listen von 8 von 10 KIs; mittlerer Platz dort: 1.5. Die KIs setzen es auf Platz eins, weil es weit mehr Büro-Arbeitsschritte abschließt als Haiku, auch wenn es beim Code, der sofort übernommen werden kann, schlechter abschneidet.

Schon gewusst?

  • Meta Muse Ember ist das kleinste Modell der Muse-Familie von Meta. Es soll neben einem größeren Planer laufen, Muse Wonder. Metas Aussage: „Muse Wonder plant, Muse Ember erledigt die Masse.“ Seine Gewichte bleiben geheim.

    Quelle ↗ ✓ von mehreren KIs bestätigt
Was es ist
Metas kleinstes, günstigstes Muse-Modell, gebaut für kleine, sich wiederholende Agenten-Aufgaben.
Seine Stärke
Es erfüllt 68,1% der Büro-Ziele, deutlich mehr als Haiku mit 35,4%.
Für wen
Passt zu Büroarbeit mit KI-Agenten, nicht für Code, der übernommen werden muss.
  • Erledigte Büro-Aufgaben68,1% der Büro-Ziele
Warum es hier steht
  • Im langen Desktop-Workflow-Test von Meta (OSWorld 2.1) erreicht Ember 69,5% Teilpunkte. Claude Haiku 5.5 kommt auf 68,9%. Das ist fast ein Gleichstand, der Vorsprung von Ember bei Büroarbeit ist bei dieser Messung also gering.

  • Bei vollständig abgeschlossenen Aufgaben schafft Ember 33,8%, Haiku 27,8%, laut The New Stack. Der Vorteil zeigt sich, wenn man nur Aufgaben zählt, die von Anfang bis Ende erledigt sind.

Schon gewusst?
  • Ember kostet 0,10 $ pro Million Eingabe-Tokens und 0,50 $ pro Million Ausgabe-Tokens. Es hat trotzdem ein Kontextfenster von 1 Million Tokens und nimmt Bilder als Eingabe an. Es ist das vierte Muse-Modell, nach Spark, Glimmer und Wonder.

Gut zu wissen
  • Ember kam am 9. November 2026 als kleineres, günstigeres Modell heraus, deshalb stützt sich die bisherige Berichterstattung auf Metas eigene Benchmarks. Unabhängige Nutzerberichte habe ich noch nicht gefunden. Behandeln Sie die frühen Werte als Angaben des Herstellers.

Weiterlesen
  • Öffnen Sie den Blog und probieren Sie Muse Ember über die Schaltfläche „Muse ausprobieren“ aus. Schauen Sie zuerst auf das Diagramm „Intelligenz vs. Kosten pro Aufgabe“ direkt nach der Einleitung. Diese Zahlen stammen von Meta selbst, prüfen Sie sie deshalb anhand unabhängiger Tests.

Die ersten drei vergleichen ↓

2Claude Haiku 5.5

Nr. 2 — Claude Haiku 5.5. In den Listen von 8 von 10 KIs; mittlerer Platz dort: 2. Die KIs reihen es auf Platz zwei als günstiges Modell, dem man Code anvertrauen kann, weil mehr seiner Patches die Tests der Betreuer bestehen – trotz schwächerer Büro-Werte.

Was es ist
Das kleine, günstige Modell von Anthropic aus der Familie Claude 5.5.
Seine Stärke
Seine Code-Patches bestehen die Tests der Betreuer häufiger: 34,9% gegenüber 27,2% bei Ember.
Für wen
Passt zu Code-Korrekturen und Patches, nicht die beste Wahl für Büroabläufe.
  • Erledigte Büro-Aufgaben35,4% der Büro-Ziele

Wikidata

Warum es hier steht
  • Die Ergebnisseite von Meta führt Claude Haiku 5.5 mit 68,9% Teilpunkten bei den Büroabläufen aus OSWorld 2.1. Ember liegt bei 69,5%, Haiku bleibt bei Desktop-Aufgaben also knapp dahinter.

  • Derselbe Test zählt die vollständige Erledigung separat. Haiku schließt 27,8% der Aufgaben komplett ab, Ember 33,8%. Sein Platz kommt zum Teil von Stärken in anderen Bereichen, etwa beim Code.

Kimi setzten es auf Platz 1. Was sie darin sahen
  • Kimi: Das einzige kleine Modell, das die Code-Spalte gewinnt – FrontierCode 2.0 mit 34,9 % schlägt Muse Ember um 7,7 Punkte –, und es holt dabei 39,2 % bei Terminal-Bench.

Die ersten drei vergleichen ↓

3DeepSeek V4.1 Flash

Nr. 3 — DeepSeek V4.1 Flash. In den Listen von 7 von 10 KIs; mittlerer Platz dort: 4. Die KIs setzen es auf Platz drei, weil das Büro-Ergebnis stark ist, das Code-Ergebnis aber schwach und die Terminal-Ergebnisse je nach Test schwanken.

Was es ist
Das günstige Flash-Modell von DeepSeek mit offenen Gewichten, das jetzt auch seine Pro-Anfragen bedient.
Seine Stärke
Bei Büroarbeit mit 66,6% knapp hinter Ember, und pro Aufgabe günstiger als Haiku.
Für wen
Passt zum Selbsthosting und zu Terminal-Aufgaben, nicht für Code, der übernommen werden muss.
  • Erledigte Büro-Aufgaben66,6% bei Büroabläufen
Warum es hier steht
  • Im unabhängigen Terminal-Bench-4.0-Lauf von Vals AI erreicht die Version DeepSeek V4.1 Flash 1017 31,82%. GPT-6.1 Sol kommt auf derselben Seite auf 55,05%, der Abstand zum Spitzenreiter ist also groß.

Geschichte
  • Am 14. September 2026 begann DeepSeek, alle Anfragen an sein stärkstes Modell V4-Pro stattdessen an das günstigere V4.1-Flash weiterzuleiten und die Ersparnis an die Kunden weiterzugeben. Flash war vier Tage zuvor, am 10. September, erschienen.

    Quelle ↗ ✓ von mehreren KIs bestätigt
Gut zu wissen
  • DeepSeek sagt, alle Anfragen an sein Pro-Modell würden nun an V4.1 Flash geleitet und zum Flash-Preis abgerechnet. Kommentatoren auf Hacker News halten stille Modellwechsel für bedenklich, und ein Nutzer berichtet, dass Flash in Programmier-Tools mit Schleifen und ungültigen Tool-Aufrufen scheitert.

Weiterlesen
  • Öffnen Sie die Modellkarte auf Hugging Face. Beginnen Sie mit dem Abschnitt „Leistung über Agenten-Gerüste hinweg“, der die Terminal-Aufgaben-Tests behandelt. Die Seite nennt außerdem 552 Mrd. Parameter, die Hub-Angaben 763 Mrd. Lesen Sie die Zahlen deshalb genau.

Die ersten drei vergleichen ↓

Die ersten drei nebeneinander

Meta Muse EmberClaude Haiku 5.5DeepSeek V4.1 Flash
In den KI-Listen8 / 108 / 107 / 10
Erledigte Büro-Aufgaben68,1% der Büro-Ziele35,4% der Büro-Ziele66,6% bei Büroabläufen
Auf Platz 1 beiClaude, ChatGPT, Grok, DeepSeekKimi—

Plätze mit gleich vielen KIs sind nach ihrem durchschnittlichen Platz in den Listen der KIs geordnet.

03Wissenswert

Was den KIs beim Erstellen der Liste aufgefallen ist.

Der Büro-Spitzenreiter ist nicht der Code-Spitzenreiter. Ember schlägt Haiku 5.5 bei abgeschlossenen Workflows (68,1 % gegenüber 35,4 %) und verliert beim zusammenführbaren Code (27,2 % gegenüber 34,9 %). Beide Ergebnisse stammen von Artificial Analysis.

Bemerkt von:
Aufgenommen: Claude, ChatGPT, Grok, Z.ai, Kimi, DeepSeek. Nicht aufgenommen: Meta, Gemini, Wenxin, Qwen.
Quelle ↗

AutomationBench hat zwei Wertungen. Die 68,1 % zählen erledigte Ziele. Die 37,8 % von Meta zählen einen Workflow nur, wenn er im ersten Versuch vollständig gelingt. Haiku fällt auf dieselbe Weise von 35,4 % auf 13,9 %. Beide Wertungen dürfen daher nicht vermischt werden.

Bemerkt von:
Aufgenommen: Claude, ChatGPT, Grok, Z.ai, DeepSeek. Nicht aufgenommen: Meta, Gemini, Kimi, Wenxin, Qwen.
Quelle ↗

Die Tabellen der Hersteller zeigen die höheren Zahlen. DeepSeek meldet 42,3 % bei Terminal-Bench, Vals AI 31,82 %. MiniMax meldet 38,1 %, Vals AI 25,25 %.

Bemerkt von:
Aufgenommen: Grok, Z.ai, Kimi. Nicht aufgenommen: Claude, ChatGPT, Meta, Gemini, DeepSeek, Wenxin, Qwen.
Quelle ↗

Das Testgerüst gehört zur Wertung. Haiku erreicht bei Terminal-Bench 39,2 % laut Anthropic, 36,36 % bei Vals AI und 32,8 % bei Artificial Analysis, jeweils auf denselben 66 Aufgaben.

Bemerkt von:
Aufgenommen: Meta, Grok, Z.ai, Kimi. Nicht aufgenommen: Claude, ChatGPT, Gemini, DeepSeek, Wenxin, Qwen.
Quelle ↗

Die Hauptwertung von FrontierCode 2.0 ist ein gewichteter Bewertungsbogen mit Ausschlusskriterien. Sie ist nicht nur der Anteil der Änderungen, die Tests bestehen. Haiku erreicht 34,9 % im Lauf von Artificial Analysis und 27,7 % auf der eigenen Rangliste von Cognition.

Bemerkt von:
Aufgenommen: ChatGPT, Meta, Grok, Z.ai. Nicht aufgenommen: Claude, Gemini, Kimi, DeepSeek, Wenxin, Qwen.
Quelle ↗

04Was Leute fragen

Welches ist das beste Modell für einen KI-Agenten?

Das hängt von der Aufgabe ab. Für Schritte im Büro ist Muse Ember die Wahl (68,1 % der AutomationBench-Ziele). Für Code, der die Tests der Projektbetreuer bestehen muss, ist es Claude Haiku 5.5 (34,9 % bei FrontierCode 2.0).

Quelle ↗
KI-Modelle gegen KI-Agenten: Was ist der Unterschied?

Ein Modell erzeugt den nächsten Schritt. Ein Agent verpackt es in Werkzeuge und eine Schleife. Deshalb bewertet Terminal-Bench 4.0 Paare aus Modell und Agent an 66 Aufgaben, und die Wertung desselben Modells ändert sich mit dem Testgerüst.

Welches KI-Modell ist das beste für Hermes Agent?

Im Momentbild des Hermes Index erreicht Haiku 5.5 37,00 Punkte bei etwa 0,49 $ pro Aufgabe, DeepSeek V4.1 Flash 36,91 Punkte bei etwa 0,26 $. Ember ist nicht aufgeführt.

Quelle ↗
Warum unterscheiden sich die Büro-Wertungen so stark zwischen den Quellen?

Artificial Analysis zählt erledigte Ziele (Ember 68,1 %). Die Grafik von Meta nutzt eine strenge Wertung mit einem einzigen Versuch (Ember 37,8 %, Luna 20,2 % gegenüber 53,2 %).

Quelle ↗

05So haben wir gezählt

In einfachen Worten, ohne Formeln.

1Die Frage

Top 10 kleine KI-Modelle für Agenten: Büro-Workflows gegen Code, den ein Projektbetreuer übernehmen würde

2Warum dieses Thema

Drei unabhängige Herausgeber messen drei verschiedene Arten von Agenten-Arbeit. So erfahren Sie, dass „schlägt Haiku“ von der Aufgabe abhängt. Das zeigt keine einzelne Rangliste.

3Wofür es gilt

Globale, kleine und günstige Modelle, die in Agenten eingesetzt werden

4Worauf wir geachtet haben

  • Anteil der Geschäfts-Workflow-Ziele, die in simulierten Büro-Apps erledigt werden
  • Anteil der Code-Änderungen, die Tests bestehen, die echte Projektbetreuer geschrieben haben
  • Anteil der echten Terminal-Aufgaben, die ein Paar aus Modell und Agent löst
  • Wie stark jede Wertung zwischen der Tabelle des Herstellers und einem unabhängigen Lauf schwankt
  • Artificial Analysis AutomationBench-AA: Anteil der Geschäfts-Workflow-Ziele, die in simulierten Apps (Gmail, Slack, Salesforce und andere) erledigt werden. Die Wertung je Ziel und die strikte pass@1-Wertung d
  • Cognition FrontierCode 2.0 (und der eigene Lauf von Artificial Analysis): ob Änderungen, die aus informellen Vorgaben entstehen, die Tests und Bewertungsbögen der Projektbetreuer bestehen, bei 132 Aufgaben
  • Laude Institute und Harbor, Terminal-Bench 4.0: Anteil der 66 containerisierten Terminal-Aufgaben, die ein Paar aus Modell und Agent löst
  • Vals AI, Terminal-Bench 4.0: dieselben 66 Aufgaben mit einem gemeinsamen Testgerüst, als unabhängige Kontrolle der Tabellen der Hersteller

5Wer gerankt hat

Die führenden KIs: Claude, ChatGPT, Meta, Grok, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen. Jede hat unabhängig ihre eigene Zehnerliste erstellt und für jeden Platz eine Quelle genannt.

6Wie die Plätze festgelegt wurden

Derselbe Eintrag, von verschiedenen KIs unterschiedlich formuliert, wurde als einer gezählt. Je mehr KIs einen Eintrag auf ihre Liste setzten und je höher, desto höher sein Platz. „Einigkeit der KIs“ zeigt, wie viele KIs ihn auf ihrer eigenen Liste hatten. Quellen sind nur die, die die KIs selbst gefunden haben; nichts wurde von Hand ergänzt.

06Die Liste jeder KI

🇺🇸 Claude10 Plätze · 3 Hinweise

Dieselbe Frage, allein von Claude beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Meta Muse Ember (2026)

    Gewinnt die Büroarbeit mit 37,8 % bei AutomationBench-AA (Haiku 13,9 %), verliert aber beim Code: 27,2 % gegenüber 34,9 % bei FrontierCode 2.0.

    Quelle ↗
  2. 2
    Claude Haiku 5.5

    Die Code-Wahl: die beste FrontierCode-2.0-Quote in der kleinen Gruppe (34,9 %), erledigt aber nur 13,9 % der Büroabläufe.

    Quelle ↗
  3. 3
    Inkling 2 Small (Thinking Machines)

    Soll bei AutomationBench-AA gegenüber dem Vorgänger von 5 % auf 46 % gesprungen sein, während Terminal-Bench 4.0 bei etwa 13 % bleibt.

    Quelle ↗
  4. 4
    DeepSeek V4.1 Flash

    Bester Langsitzungs-Coder in Bitos Gruppe (71,9 %) für 2,17 $ pro 20-Runden-Lauf; keinen AutomationBench-AA-Wert gefunden.

    Quelle ↗
  5. 5
    MiniMax M3.1 Flash

    Erreicht bei Bitos 20-Runden-Sitzungen 75,0 %, fast gleichauf mit Haiku 5.5, braucht aber 3 bis 5 Stunden pro Lauf.

    Quelle ↗
  6. 6
    GPT-6 Luna

    Mittelfeld bei Büroarbeit (20,2 %) und Schlusslicht der drei Start-Rivalen bei Code (25,2 %) und Terminal-Aufgaben (16,4 %).

    Quelle ↗
  7. 7
    Muse Spark 1.3 (Meta)

    Erreicht 37 im Index, doch die Rechnung liegt bei 2,39 $ pro Aufgabe, und ich habe keine Aufteilung nach Abläufen oder Code dafür gefunden.

    Quelle ↗
  8. 8
    Kimi K3.1 Pro

    64,9 % Coding-Wert bei Bitos Tests, aber bei 29,32 $ pro 20-Runden-Lauf ist es nicht die günstige Wahl.

    Quelle ↗
  9. 9
    GLM-5.3 (Zhipu AI)

    60,1 % insgesamt bei Bitos Coding-Sitzungen bei 20,28 $ pro 20-Runden-Lauf; keinen Wert für Büroabläufe gefunden.

    Quelle ↗
  10. 10
    Claude Sonnet 5.5 (Referenz im mittleren Preissegment)

    Kein kleines Modell, doch der Terminal-Bench-4.0-Wert von 30 % (mittlerer Aufwand) zeigt Inklings 13 % im Zusammenhang.

    Quelle ↗

Was Claude aufgefallen ist

Ember und Haiku 5.5 tauschen die Plätze je nach Aufgabentyp: Ember hat 37,8 % gegenüber 13,9 % bei AutomationBench-AA, Haiku hat 34,9 % gegenüber 27,2 % bei FrontierCode 2.0. Beides sind Läufe von Artificial Analysis.

AutomationBench-AA hat zwei Lesarten: 37,8 % zählen einen Ablauf nur, wenn er beim ersten Mal vollständig erledigt ist, 68,1 % zählen erledigte Ziele.

Im Coding-Agent-Index von Artificial Analysis erreicht Ember 46, Haiku 37 – der Verlust bei FrontierCode überträgt sich also nicht auf jedes Code-Maß.

🇺🇸 ChatGPT10 Plätze · 3 Hinweise

Dieselbe Frage, allein von ChatGPT beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Meta Muse Ember (2026)

    Der Büro-Spezialist: 68,1 % erledigte Ziele bei Arbeitsabläufen, aber nur 27,2 % bei der auf Zusammenführbarkeit ausgerichteten Code-Bewertung.

    Quelle ↗
  2. 2
    Claude Haiku 5.5 (2026)

    Es verliert den Büro-Wettbewerb gegen Ember, schlägt es aber um 7,7 Punkte bei dem gemeldeten FrontierCode-Vergleich.

    Quelle ↗
  3. 3
    OpenAI GPT-6.1 Sol (2026)

    Seine 39,0 % bei FrontierCode und 58,2 % offiziell gelöste Terminal-Aufgaben rechtfertigen, schwierige Patches an ein stärkeres Modell weiterzureichen.

    Quelle ↗
  4. 4
    Zhipu AI GLM-5.3-Flash (2026)

    35,8 % gelöste Terminal-Aufgaben für ein Flash-Modell, aber nur 14,2 % beim Benchmark für Code-Qualität nach Maintainer-Maßstäben.

    Quelle ↗
  5. 5
    DeepSeek V4.1 Flash 1017 (2026)

    Ein Intelligenzwert von 33 und offene Gewichte sind attraktiv, doch FrontierCode fällt bei anspruchsvollerer, zusammenführungsfähiger Arbeit auf 19,3 %.

    Quelle ↗
  6. 6
    OpenAI GPT-6 Luna (2026)

    Ein günstiger Helfer mit 31 im Coding-Agent-Index, aber nur 16,4 % offiziell gelöste Terminal-Aufgaben.

    Quelle ↗
  7. 7
    Google Gemini 3.8 Flash (2026)

    Ein multimodaler Assistent mit Millionen-Token-Kontext, doch in seiner getesteten Umgebung wurden nur 19,1 % der offiziellen Terminal-Aufgaben gelöst.

    Quelle ↗
  8. 8
    Thinking Machines Inkling 2 Small (2026)

    Sein Wert von 22,6 % bei FrontierCode ist achtbar, doch eine Index-Aufgabe für 1,18 $ und die langsame Fertigstellung schwächen die Agenten-Ökonomie.

    Quelle ↗
  9. 9
    Cognition SWE-2 Flash (2026)

    Ein programmierorientiertes Flash-Modell erreicht 24,0 % bei FrontierCode, doch das allein belegt noch keine Zuverlässigkeit als Büroagent.

    Quelle ↗
  10. 10
    Meta Muse Spark Open (2026)

    Offene Gewichte und Agenten-Integration sind nützlich, doch 6,2 % bei FrontierCode machen eine unabhängige Prüfung der Patches unverzichtbar.

    Quelle ↗

Was ChatGPT aufgefallen ist

Ember führt Haiku bei Geschäftsabläufen, doch Haiku führt Ember bei der Zusammenführbarkeit: 68,1 % erledigte AutomationBench-Ziele bei Ember stehen Haikus 34,9 % gegenüber Embers 27,2 % bei FrontierCode-AA gegenüber.

Cognition hat FrontierCode 2.0 deutlich schwerer gemacht: DeepSeek V4.1 Flash fiel von 43,9 % in Version 1.1 auf 19,3 % in Version 2.0. Das ist eine Revision des Benchmarks, kein gemessener Rückschritt des Modells.

Die Erwartungen eines echten Maintainers sind schwerer zu erfüllen als das Bestehen gewöhnlicher Tests: FrontierCode prüft auch Umfang, Design und Vollständigkeit, und selbst starke Modelle übersehen kleine Aufräumanforderungen.

🇺🇸 Meta10 Plätze · 4 Hinweise

Dieselbe Frage, allein von Meta beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    GPT-6.1 Sol (2026)

    Das einzige günstig-nahe Modell hier, das auf beiden Seiten stark ist: 64,9 % Büro, 39,0 % zusammenführbarer Code für 1,03 $ pro Durchlauf.

    Quelle ↗
  2. 2
    MiniMax M3.1 Flash (2026)

    72,5 % der Büroziele erledigt – der beste Bürowert unter den günstigen Modellen – neben einem Terminal-Wert von 25 %.

    Quelle ↗
  3. 3
    Gemini 3.8 Flash (2026)

    59,9 % Büro, 19,7 % Terminal – dieselbe Aufteilung wie MiniMax, aber zu deutlich höheren gemessenen Kosten pro Aufgabe.

    Quelle ↗
  4. 4
    Claude Haiku 5.5 (2026)

    Der günstige Code-Spitzenreiter: 27,7 % bei FrontierCode 2.0 und 36 % beim Terminal, aber nur 35,4 % bei Büroabläufen.

    Quelle ↗
  5. 5
    Muse Ember (2026)

    Terminal zuerst: 40,9 % bei Terminal-Bench in Metas Tabelle, 27,2 % bei FrontierCode-AA – der Büro-Wert steht nicht in der gefundenen AA-AutomationBench-Liste mit 24 Modellen.

    Quelle ↗
  6. 6
    GPT-6 Luna (2026)

    Ausgewogen und günstig: 53,2 % Büro und 21,9 % Code – besser im Büro als Haiku, schwächer im Code als Haiku.

    Quelle ↗
  7. 7
    GLM-5.3 (2026)

    62,2 % Büro, 17,8 % Code – die größte Lücke zwischen Büro und Code unter den vollwertigen GLM-Einträgen.

    Quelle ↗
  8. 8
    DeepSeek V4.1 Flash 1017 (2026)

    Für seinen Preis terminalstark mit 31,82 % bei 0,54 $, bei Code schwach mit 19,3 % – ein Shell-Arbeiter, kein Zusammenführer.

  9. 9
    Kimi K3.1 Pro (2026)

    73,3 % im Büro – nominell die Büro-Spitze –, doch der FrontierCode-Rückgang der K3-Linie warnt davor, es als Coder zu lesen.

    Quelle ↗
  10. 10
    MiMo-V2.6-Flash (2026)

    Günstigste gemessene Aufgabe hier mit 0,13 $, aber keine Zeile für AutomationBench-AA, FrontierCode 2.0 oder Terminal-Bench 4.0 in den gefundenen Quellen – bei beiden Aufgaben unbelegt.

    Quelle ↗

Was Meta aufgefallen ist

Büro und Code gehen auseinander: MiniMax erledigt 72,5 % der Büroziele, aber nur etwa 26 % der Terminal-Aufgaben, während Haiku 35,4 % im Büro, aber 27,7 % im Code erreicht.

FrontierCode 2.0 hat jeden Wert gesenkt: Opus fiel von 54,6 % auf 45,5 %, Kimi K3 von 60 % auf 17,7 % – der neue Test trennt die Stufen, statt alle in den Fünfzigern zu bündeln.

GPT-6.1 Sol erreicht 86 % von Opus' FrontierCode-2.0-Wert (39,0 % gegenüber 45,5 %) bei einem Zwölftel der Durchlaufkosten (1,03 $ gegenüber 12,82 $).

Haikus Bürowert hängt davon ab, welchen AutomationBench man meint: 35,4 % bei AutomationBench-AA gegenüber 12,0 % beim ursprünglichen AutomationBench 1.0.6.

🇺🇸 Grok10 Plätze · 4 Hinweise

Dieselbe Frage, allein von Grok beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Muse Ember (2026)

    Gib ihm die Büroschritte: 68,1 % der Arbeitsziele, dann halte es vom letzten Zusammenführen fern.

    Quelle ↗
  2. 2
    Claude Haiku 5.5

    Das günstige Modell, das Code anfassen sollte: 34,9 % zusammenführbar, 13,9 % streng im Bürotest.

    Quelle ↗
  3. 3
    GLM-5.3-Flash

    Ein offenes Modell für die Büro-Warteschlange mit 60,4 %, während zusammenführbarer Code auf 17,6 % fällt.

    Quelle ↗
  4. 4
    Qwen3.8 Flash

    Büroarbeit mit 55,9 % liegt 30 Punkte über dem Terminal-Wert auf derselben Karte.

    Quelle ↗
  5. 5
    DeepSeek V4.1 Flash 1017

    Auf der Hermes-Tafel erreicht es 36,91 bei 0,26 $ pro Aufgabe, neben Haikus 37,00 bei 0,49 $.

    Quelle ↗
  6. 6
    Hy4 (Tencent)

    Ein Terminal-Unentschieden mit Ember bei 39,4 %, erkauft für etwa das Sechsfache von Embers Testrechnung.

  7. 7
    MiniMax-M3.1-Flash

    Die Terminal-Zahl zum Start, 38,1 %, und die Zahl im gemeinsamen Testaufbau, 25,25 %, sind nicht derselbe Test.

    Quelle ↗
  8. 8
    MiMo-V2.6-Flash

    Index 27 bei 0,13 $ pro Aufgabe, mit 64 Minuten auf der Uhr und einem Terminal-Startwert, der später niedriger ausfiel.

    Quelle ↗
  9. 9
    GPT-6 Luna

    Verliert den strikten Bürotest mit 20,2 % und den Zusammenführungstest mit 25,2 % – bei einem Preisaufkleber, der dem von Ember entspricht.

    Quelle ↗
  10. 10
    Gemini 3.8 Flash

    Kennt mehr, als es automatisiert: 50,5 % Allwissenheits-Genauigkeit bei einem Input-Preis von 0,75 $.

    Quelle ↗

Was Grok aufgefallen ist

Die nützliche Trennung liegt innerhalb einer Preisklasse. Muse Ember führt bei der Bürowert-Quote, die Artificial Analysis mit 68,1 % angibt, und Claude Haiku 5.5 führt bei zusammenführbarem Code mit 34,9 % gegenüber Embers 27,2 %. Ein Modell sollte die Büroschritte übernehmen, das andere den Patch anfassen.

GLM-5.3-Flash zeigt dieselbe Trennung ohne zweiten Anbieter: 60,4 % bei AutomationBench-AA und 17,6 % bei FrontierCode 2.0. Eine Führung bei abgeschlossenen Abläufen kann neben einer Niederlage beim Code stehen, den ein Maintainer übernehmen würde.

Haikus Terminal-Wert ist keine einzelne Zahl. Er beträgt 39,2 % auf der Startkarte, 32,8 % im Lauf von Artificial Analysis, 36,36 % bei Vals und 13,6 % im Hermes-Index-Schnappschuss. Der Testaufbau ist Teil des Ergebnisses.

Im Hermes-Index-Schnappschuss erreicht DeepSeek V4.1 Flash 36,91 bei 0,26 $ pro Aufgabe, Haiku 5.5 37,00 bei 0,49 $. Claude Opus 5.5 führt mit 63,31, zu Kosten, die der Spiegel nahe bei 4,99 $ ansetzt. Die alltäglichen Agenten-Punkte liegen nah beieinander. Die Rechnung nicht.

🇺🇸 Gemini10 Plätze · 1 Hinweise

Dieselbe Frage, allein von Gemini beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Anthropic Claude 3.5 Haiku

    Schwach bei der reinen Navigation in SaaS-Apps (13,9 %), dominiert aber die Code-Qualität kleiner Modelle mit einer Merge-Quote von 41,2 % bei FrontierCode-Maintainern, die mit Flaggschiff-Modellen mithalten kann.

  2. 2
    Meta Muse Ember (2026)

    Zerschmettert Büroabläufe mit 37,8 % – fast dreimal Haikus Wert –, doch Maintainer lehnen 72 % seiner Code-Patches wegen nachlässiger Behandlung von Randfällen ab.

    Quelle ↗
  3. 3
    Qwen 2.5 Coder 32B-Instruct

    Der Open-Weight-Spezialist für Coding erreicht 36,6 % bei Pull Requests von Maintainern und schlägt damit jedes proprietäre Modell seiner Preisklasse außer Haiku.

    Quelle ↗
  4. 4
    Google Gemini 2.0 Flash

    Der beste ausgewogene Generalist: 26,5 % bei Office-Apps und 30,2 % beim Terminal-Engineering, ohne eine der beiden Domänen zu bevorzugen.

  5. 5
    OpenAI GPT-4o mini

    Führt gängige Office-Tabellen und CRM zuverlässig aus (20,2 %), stockt aber bei 26,0 % bei FrontierCode, wenn Maintainer asynchrone Codepfade prüfen.

    Quelle ↗
  6. 6
    DeepSeek-V3

    Löst komplexe algorithmische Logik in Pull Requests (32,4 % bei FrontierCode), hat aber Mühe mit unübersichtlichen simulierten OAuth- und CRM-Token-Abläufen in Office-Suiten.

    Quelle ↗
  7. 7
    Meta Llama 3.3 70B Instruct

    Liefert ausgewogen 28,5 % Coding und 27,3 % Lösung von Terminal-Problemen, doch seine höhere Latenz bremst interaktive CLI-Agenten.

  8. 8
    Mistral Small 24B

    Glänzt bei deterministischen Terminal-Skripten (24,2 %) und ERP-Tool-Routing, fällt aber bei Maintainer-Zusammenführungen auf 21,5 % wegen unidiomatischer Variablennamen.

  9. 9
    Google Gemini 1.5 Flash

    Verarbeitet riesige Office-Posteingänge, ohne an Token-Grenzen zu scheitern, doch Maintainer übernehmen weniger als jede fünfte seiner vorgeschlagenen Codebasis-Änderungen.

  10. 10
    Nous Research Hermes 3 (Llama 3.1 70B)

    Speziell für agentische Autonomie und Funktionsaufrufe feinabgestimmt, erreicht es 22,7 % bei Terminal-Bench, während die Büro-Arbeitsabläufe bei etwa 14,2 % liegen.

Was Gemini aufgefallen ist

Spezialisierte offene Coding-Modelle wie Qwen 2.5 Coder 32B schlagen allgemeine proprietäre Modelle (GPT-4o mini und Gemini 1.5 Flash) bei echten Maintainer-Reviews von Repositorys um mehr als 10 Prozentpunkte.

🇨🇳 Z.ai10 Plätze · 2 Hinweise

Dieselbe Frage, allein von Z.ai beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Kimi K3.1 Pro (Moonshot AI, 2026)

    Macht im Vergleich bei Office (73,3 % AutomationBench-AA) und Terminal (67,2 %, der beste veröffentlichte TB4.0-Wert) eine gute Figur – doch beim zusammenführungsfähigen Code erreichte sein Vorgänger Kimi K3 auf Cognitions Tafel nur 17,7 %.

    Quelle ↗
  2. 2
    MiniMax M3.1 Flash (MiniMax, 2026)

    72,5 % der Büroziele – nach Gemini 4 Carbon an zweiter Stelle von 249 Modellen –, während Vals es mit nur 0,21 $ pro Terminal-Test abrechnete, die günstigste fertige Rechnung der Klasse.

    Quelle ↗
  3. 3
    Muse Ember (Meta, 2026)

    Die Office-Code-Teilung in einem Modell: 68,1 % im Workflow-Lauf von AA (Metas eigene strengere Tabelle nennt 37,8), ein Terminal-Sieg gegenüber Haiku mit 40,9 % zu 32,8 % – und eine Niederlage gegen Haiku beim zusammenführungsfähigen Code mit 27,2 % zu 34,9 %.

    Quelle ↗
  4. 4
    DeepSeek V4.1 Flash 1017 (DeepSeek, offene Gewichte, 2026)

    66,6 % bei Büroabläufen und offene MIT-Gewichte zum Selbsthosten – doch seine Terminal-Bilanz kippt mit dem Testaufbau: 42,3 % selbst gemeldet gegenüber 19,7 % im unabhängigen Lauf von Vals.

    Quelle ↗
  5. 5
    Claude Haiku 5.5 (Anthropic, 2026)

    Das Modell, das Code anfassen soll: 34,9 % der Patches bestehen die Tests der Maintainer bei FrontierCode 2.0, etwa zehn Punkte über jedem günstigen Mitbewerber – während sein Bürowert (35,4 %) hier der schwächste ist.

    Quelle ↗
  6. 6
    GLM-5.3 (Zhipu AI, 2026)

    Bester Wert der Budgetklasse auf Vals' Terminal-Tafel (38,9 %) plus 62,2 % bei Büroabläufen – doch Cognition hat seine Patches nicht bewertet, die Frage der Zusammenführbarkeit bleibt offen.

    Quelle ↗
  7. 7
    Gemini 3.8 Flash (Google, 2026)

    59,9 % bei Büroabläufen, und Intelligenz-Fans vergleichen es mit der Opus-Klasse – doch dasselbe Modell kostete Vals 8,65 $ pro Terminal-Test, die größte fertige Rechnung der Budgetklasse.

    Quelle ↗
  8. 8
    GPT-6 Luna (OpenAI, 2026)

    Sein Bürowert schwankt je nach Bewerter fast um das Dreifache – 20,2 % in Metas Einzelversuch-Tabelle gegenüber 53,2 % im Standardlauf von AA –, und die Zusammenführbarkeit liegt bei 23,8 % auf Cognitions Tafel.

    Quelle ↗
  9. 9
    Qwen3.8-27B (Alibaba Qwen, offene Gewichte, 2026)

    Der GUI-Spezialist der kleinen Klasse: 84,3 % bei OSWorld-Verified (insgesamt Vierter) gegenüber 5,1 % bei Terminal-Bench 4.0 – Desktop-Apps ja, containerisierte Terminals nein.

    Quelle ↗
  10. 10
    Kimi K3 (Moonshot AI, 2026)

    Die Warnung: Ein Listenpreis von 3 $/15 $ brachte trotzdem 17,7 % auf Cognitions Tafel für zusammenführbaren Code und 12,48 $ pro Terminal-Test in Vals' Lauf – ein Preisschild allein hat nie agentische Verlässlichkeit gekauft.

    Quelle ↗

Was Z.ai aufgefallen ist

Desktop- und Terminal-Fähigkeiten korrelieren in der kleinen Klasse kaum: Qwen3.8-27B ist bei OSWorld-Verified insgesamt Vierter (84,3 %), löst aber 5,1 % der Terminal-Bench-4.0-Aufgaben. Die Wahl richtet sich danach, wo Ihre Schritte tatsächlich laufen.

Zusammenführbarer Code ist bei jedem Preis brutal schwer: selbst Claude Opus 5.5, Spitzenreiter bei FrontierCode 2.0, besteht nur 49,1 % der Maintainer-Tests, und kein günstiges Modell schafft 35 %.

🇨🇳 Kimi10 Plätze · 3 Hinweise

Dieselbe Frage, allein von Kimi beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Claude Haiku 5.5 (2026)

    Das einzige kleine Modell, das die Code-Spalte gewinnt – FrontierCode 2.0 mit 34,9 % schlägt Muse Ember um 7,7 Punkte –, und es holt dabei 39,2 % bei Terminal-Bench.

    Quelle ↗
  2. 2
    Meta Muse Ember (2026)

    Erledigt 37,8 % der Büroabläufe – 2,7-mal Haikus Quote –, doch der Maintainer-Merge-Test dreht es: 27,2 % gegenüber Haikus 34,9 %.

    Quelle ↗
  3. 3
    GLM-5.3 (2026)

    Bester Terminal-Wert veröffentlichter Gewichte (43,4 %) – ein offenes Modell, das jeden günstigen geschlossenen Rivalen an der Kommandozeile übertrifft.

    Quelle ↗
  4. 4
    DeepSeek V4.1 Flash 1017 (2026)

    Günstigste ernsthafte Code-Option: 19,3 % bei FrontierCode 2.0 zu 0,38 $ pro Durchlauf, Terminal-Bench bei 42,3 % selbst gemeldet / 33,8 % unabhängig.

    Quelle ↗
  5. 5
    MiniMax M3.1 Flash (2026)

    38,1 % bei Terminal-Bench 4.0 – 22 Punkte über Luna bei etwa gleichem Output-Preis von 0,60 $, und noch keine Büro- oder Merge-Code-Zahlen veröffentlicht.

    Quelle ↗
  6. 6
    GLM-5.3-Flash (2026)

    35,8 % bei Terminal-Bench 4.0 für 0,36 $ pro Aufgabe – der Preis-Leistungs-Punkt, an dem günstige Terminal-Arbeit verlässlich wird.

    Quelle ↗
  7. 7
    GPT-6 Luna (2026)

    Die Office-über-Code-Teilung in einem Modell: stark bei Geschäftsabläufen (AutomationBench-AA 53 % in einem AA-Lauf, 20,2 % im strengeren Diagramm von Meta), aber 16,4 % bei Terminal-Bench.

    Quelle ↗
  8. 8
    Gemini 3.5 Flash (2026)

    42,6 % bei AutomationBench-AA – der beste Bürowert, den ein Modell unter der Spitzenklasse zum Start auf dieser Tafel erzielt hat.

    Quelle ↗
  9. 9
    MiMo-V2.6-Flash (2026)

    24,2 % bei Terminal-Bench 4.0 für 0,21 $ pro Aufgabe – die günstigste Terminal-Erfolgsquote, doch mit einem Vorbehalt: Vals fand, dass zwei Drittel seiner Coding-Aufgaben die Antwort verraten könnten.

  10. 10
    Gemini 3.1 Flash-Lite (2026)

    Unter 0,05 $ pro Büro-Aufgabe in AutomationBench-AA – der Boden der Kostenspanne, für Schritte, bei denen ein Neuversuch nichts kostet.

    Quelle ↗

Was Kimi aufgefallen ist

Die Trennung zwischen Büro und Code ist real und groß: Muse Ember schlägt Claude Haiku 5.5 bei Geschäftsabläufen um 24 Punkte (37,8 gegenüber 13,9) und verliert bei zusammenführungsfähigem Code um 7,7 Punkte (27,2 gegenüber 34,9) – ein Modell für den Posteingang, ein anderes für das Repository.

Hersteller-Tabellen schönen: DeepSeek V4.1 Flash 1017 erreicht 42,3 % bei Terminal-Bench 4.0 in DeepSeeks eigener Auswertung, aber 33,8 %, wenn Artificial Analysis es laufen lässt – eine Abweichung von 8,5 Punkten, und nur in eine Richtung.

Offene Gewichte haben die Terminal-Lücke geschlossen, nicht aber die Büro-Lücke: GLM-5.3 (43,4 %) und DeepSeek V4.1 Flash (42,3 %) führen bei veröffentlichten Gewichten bei Terminal-Bench 4.0, doch kein offenes Modell taucht nahe der Spitze von AutomationBench-AA auf.

🇨🇳 DeepSeek10 Plätze · 2 Hinweise

Dieselbe Frage, allein von DeepSeek beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Muse Ember (Meta, 2026)

    Das einzige günstige Modell, das bei Geschäftsabläufen (37,8 % streng) und bei Terminal-Arbeit (40,9 %) gleichzeitig Spitzenklasse ist – aber nur 27,2 % seiner Code-Patches würden übernommen.

    Quelle ↗
  2. 2
    Claude Haiku 5.5 (Anthropic, 2026)

    Der zusammenführungsfähige Coder der günstigen Klasse: 34,9 % bei FrontierCode 2.0, aber nur 13,9 % streng bei Büroabläufen – er repariert den Code und ignoriert die Tabelle.

    Quelle ↗
  3. 3
    DeepSeek V4.1 Flash 1017 (DeepSeek, 2026)

    Der Terminal-Spezialist: 42,3 % bei Terminal-Bench 4.0 und 60,5 % bei AutomationBench v1.0.6, aber nur 28 % bei FrontierCode – stark beim Ausführen von Befehlen, schwächer beim Liefern zusammenführbarer Patches.

    Quelle ↗
  4. 4
    MiMo-V2.6-Pro (Xiaomi, 2026)

    Ein starker Büro-Performer mit 59 % bei AutomationBench-AA und 35 % bei Terminal-Bench, doch seine 24 % bei FrontierCode heißen, dass ein Maintainer den Patch wahrscheinlich zurückschickt.

    Quelle ↗
  5. 5
    MiniMax M3.1 Flash (MiniMax, 2026)

    Der Büro-Champion der günstigen Gruppe mit 72,5 % bei AutomationBench-AA, aber nur 21 % bei FrontierCode und 26 % bei Terminal-Bench – geben Sie ihm die Tabellen, nicht den Pull Request.

    Quelle ↗
  6. 6
    GPT-6 Luna (OpenAI, 2026)

    Eine niedrige Rechnung pro Aufgabe (0,15 $) verbirgt schwache Büro- und Terminal-Ergebnisse: 20,2 % strikt bei AutomationBench, 16,4 % bei Terminal-Bench und 25,2 % bei FrontierCode.

    Quelle ↗
  7. 7
    GLM-5.3-Flash (Zhipu AI, 2026)

    Ein Wert von 60 % bei AutomationBench macht es zu einem glaubwürdigen Schritt-Ausführer im Büro, doch 15 % bei FrontierCode und 33 % bei Terminal-Bench halten es von Repository-Arbeit fern.

    Quelle ↗
  8. 8
    Ling 3.0 Flash (InclusionAI, 2026)

    Mit etwa 0,054 $ pro Aufgabe ist es das günstigste bürofähige Modell dieser Gruppe, mit 53 % bei AutomationBench, aber nur 11–15 % bei FrontierCode und 32,4 % bei Terminal-Bench.

    Quelle ↗
  9. 9
    Gemini 3.8 Flash (Google, 2026)

    Ein Wert von 60 % bei AutomationBench auf hohem Aufwand, aber nur 19 % bei FrontierCode und 20 % bei Terminal-Bench – eine Erinnerung, dass Büro-Können nicht auf zusammenführungsfähigen Code übertragbar ist.

    Quelle ↗
  10. 10
    Nanbeige4.3-33B (Nanbeige, 2026)

    Ein kleines offenes Modell, das Qwen3.8 27B bei AutomationBench schlägt (53 % gegenüber 48 %), aber bei FrontierCode auf 11 % fällt – ein nützlicher Büro-Helfer, aber kein Kandidat für die Zusammenführung durch Maintainer.

    Quelle ↗

Was DeepSeek aufgefallen ist

Muse Ember führt die günstige Büro-Tabelle mit 37,8 % strikt bei AutomationBench, doch sein Wert von 27,2 % bei FrontierCode zeigt die Trennung deutlich: Das Modell, das einen 30-Schritt-Geschäftsprozess abschließt, ist nicht das Modell, das ein Maintainer für einen Pull Request prüfen lassen möchte.

MiniMax M3.1 Flash erreicht 72,5 % bei AutomationBench-AA – mehr als Muse Ember – und doch nur 21 % bei FrontierCode. Büroabläufe und zusammenführungsfähiger Code sind in der günstigen Klasse tatsächlich getrennte Fähigkeiten.

🇨🇳 Wenxin10 Plätze · 1 Hinweise

Dieselbe Frage, allein von Wenxin beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Anthropic Claude Haiku 4.5 (2026)

    Führt bei Büroabläufen und besteht Code-Tests – das einzige kleine Modell, das beides gut kann

  2. 2
    OpenAI GPT-4o mini (2026)

    Bester Terminal-Abschluss unter den kleinen Modellen – doch Büroschritte und zusammenführungsfähiger Code liegen hinter Haiku

    Quelle ↗
  3. 3
    Google Gemini 2.5 Flash-Lite (2026)

    König der Büroabläufe in der günstigen Klasse – die Merge-Quote beim Code bewegt kaum etwas

    Quelle ↗
  4. 4
    Meta Muse Ember (2026)

    Gut genug fürs Büro, schwach beim zusammenführungsfähigen Code – der 30-Schritt-Auftrag ist sein Stärkebereich

  5. 5
    DeepSeek-V3 Lite (2026)

    Code-Patches bestehen öfter als sein Büroanteil – das Gegenteil der meisten kleinen Modelle

  6. 6
    Mistral Small 3.1 (2026)

    Solides zweisprachiges Büromodell – die Merge-Quote beim Code liegt unter 1 von 4 Patches

    Quelle ↗
  7. 7
    Cohere Command R+ 08-2026 (klein)

    Büro- und RAG-Abläufe führen – Code und Terminal sind Nebensache

    Quelle ↗
  8. 8
    Qwen 3 4B (2026)

    Terminal-Aufgaben günstig erledigt – doch Büroabläufe und Code-Zusammenführung bleiben beide zurück

  9. 9
    Microsoft Phi-4 Mini (2026)

    Das kleinste Gehirn der Liste – Büro, Code und Terminal liegen alle unter 25 %

  10. 10
    Stability AI Stable LM 2 1.6B (2026)

    Büroabläufe bei 28 % und Code bei 11 % – günstig, ja; bereit für Agenten, nein

Was Wenxin aufgefallen ist

Kein kleines Modell besteht mehr als 38 % der FrontierCode-2.0-Maintainer-Tests; das beste (Haiku 4.5 mit 38 %) scheitert trotzdem bei 6 von 10 zusammenführungsfähigen Patches – ein Beleg, dass „klein“ immer noch „Entwurf, nicht Zusammenführung“ bedeutet.

🇨🇳 Qwen10 Plätze · 2 Hinweise

Dieselbe Frage, allein von Qwen beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Google Gemini 4 Argon

    Führt die SaaS-Automatisierungstabellen an, bleibt aber bei echten Code-Reviews durch Maintainer stecken.

    Quelle ↗
  2. 2
    Meta Muse Ember

    Speziell für die repetitiven API-Aufrufe und Routing-Aufgaben entwickelt, die Agenten den ganzen Tag erledigen.

    Quelle ↗
  3. 3
    Alibaba Qwen 2.5 Coder 32B

    Der Open-Source-König der Terminal-Aufgaben und zusammenführbaren Patches.

    Quelle ↗
  4. 4
    Anthropic Claude Haiku 5.5

    Die Sicherheitsleitplanken von Anthropic verhindern, dass es SaaS-Workflow-Regeln verletzt.

  5. 5
    OpenAI GPT-4o-mini

    Ein verlässlicher Ersatz für Terminal-Befehle, aber schwach bei komplexen Zusammenführungskriterien.

    Quelle ↗
  6. 6
    Meta Llama 3.3 70B / 3.1 8B

    Die Standardwahl für lokale Terminal-Routinen, hinkt aber bei der SaaS-Orchestrierung hinterher.

    Quelle ↗
  7. 7
    Mistral Large 4 / Small

    Schlägt über seiner Gewichtsklasse bei FrontierCodes strenger Bewertung.

    Quelle ↗
  8. 8
    Alibaba Qwen 2.5 7B

    Ein überraschend fähiger Büroassistent, solange er auf Zapier-artige Abläufe beschränkt ist.

  9. 9
    DeepSeek Coder V2 / V3-Lite

    Stark bei der Terminal-Automatisierung, hat aber Mühe mit geschäftlicher Logik über mehrere Apps.

    Quelle ↗
  10. 10
    Google Gemma 2 9B

    Sicher für leichte lokale Browser-Aufgaben, aber bei komplexen Spezifikationen leicht verwirrt.

Was Qwen aufgefallen ist

AutomationBench-AA und FrontierCode 2.0 messen gegensätzliche Fähigkeiten: Gemini 4 Argon erdrückt Büroabläufe (77,5 %), erreicht aber bei echten Maintainer-Zusammenführungen von Code nur 26,3 %.

Terminal-Bench 4.0 begünstigt kommandozeilennative Modelle, wo Qwen 2.5 Coder 32B 65,2 % erreicht – das zeigt, dass Terminal-Agenten anders trainiert werden müssen als GUI-Agenten.