Zurück zum Trend des Tages: KI-Agenten sahen die Bücher eines britischen Unternehmens mit KPMG-Prüfern durch
Poly-Ranking · aus dem Trend des Tages

Die besten KI-Agenten für die Arbeit 2026: Top 10 nach echten Aufgabentests

Der beste Agent im Agents' Last Exam, GPT-6.2 Astra, besteht nur 47,5% von 122 langen Berufsaufgaben vollständig. Bei den Geschäftsabläufen von Zapier liegt der Großteil der Fehlschläge darin, dass der Agent Erfolg meldet, obwohl die Einträge falsch sind.

  • Nr. 1: GPT-6.2 Astra (Codex)
  • 10 Plätze

01Endgültige Liste

Die führenden KIs haben unabhängig voneinander jeweils eine eigene Liste mit zehn Plätzen erstellt. Hier steht ein leicht prüfbares Ergebnis: Jeder Platz hat einen Grund, eine Quelle und die Liste der KIs, die ihn aufgenommen haben.

Vergleichen Sie Abschlussquoten und bewertete Punktzahlen bei langen Berufsaufgaben, einschließlich Teilpunkten und strikter Bestehensquoten.

Ein helles Kennzeichen heißt: Diese KI hat den Eintrag auf ihre Liste gesetzt. Ein blasses: hat sie nicht.

  1. 1

    GPT-6.2 Astra (Codex)

    Es hat die beste strikte Bestehensquote im langen Test, 47,5%, in 29 Stunden, gegenüber 227 Stunden für Fable. Außerdem besteht es 52,4% der Geschäftsabläufe bei Zapier zu 0,83 $ pro Aufgabe.

    Aufgenommen: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, Qwen. Nicht aufgenommen: Claude, DeepSeek, Qianwen.

    In ihren Listen: ChatGPT: 1 · Meta: 2 · Grok: 1 · Gemini: 1 · MiMo: 1 · Kimi: 5 · Qwen: 2

    Was jede KI angemerkt hat 7
    • ChatGPTPlatz 1

      Strenge Bestehensquote 47,5% und Bewertung 78,3% bei 3,05 $ pro Aufgabe und rund 14 Minuten: Fast die Hälfte der Aufgaben scheitert weiterhin an der Alles-oder-nichts-Hürde.

      Quelle ↗
    • MetaPlatz 2

      47,5% bestanden bei ALE v1.1, die bisher höchste strikte Quote, in 29 Stunden statt 227.

      Quelle ↗
    • GrokPlatz 1

      Es schließt 47,5% von 122 langen Berufsaufgaben strikt ab, in 29 Stunden – einen Lauf, für den Fable 227 Stunden braucht.

    • GeminiPlatz 1

      Führt Agents' Last Exam v1.1 mit 47,5% Bestehensquote und 78,3% Teilpunkte-Wertung an, bei 2,6 Millionen Ausgabe-Token. Nutzer bemängeln allerdings weiterhin Überkomplizierung und ungeprüfte Behauptungen.

      Quelle ↗
    • MiMoPlatz 1

      Das erste Modell, das je für seine Fähigkeit zur Selbstverbesserung als „High“ eingestuft wurde – und trotzdem das Modell, das Menschen als Letztes beaufsichtigen.

      Quelle ↗
    • KimiPlatz 5

      Trägt die höchste selbst gemeldete Zahl für Berufsarbeit überhaupt – 77,6% bei ALE v1.1 –, doch das ist der eigene Lauf des Labors mit Bewertungsschema bei maximalem Aufwand, nicht die strikte Bestehensquote, nach der andere bewertet werden.

      Quelle ↗
    • QwenPlatz 2

      Führt Agents' Last Exam v1.1 mit 47,5% strikter Bestehensquote und 78,3% Bewertung bei 2,6 Millionen Ausgabe-Token an.

      Quelle ↗
    7 KIs setzten es hierher
  2. 2

    Gemini 4 Carbon

    Es liegt auf beiden Ranglisten vorn: 45,9% strikt im langen Test und 53,9% bei den Zapier-Abläufen. Die Teilpunktzahl von 77,4% verdeckt, dass es etwa 54 von 100 langen Aufgaben nicht besteht.

    Aufgenommen: ChatGPT, Meta, Grok, Gemini, Claude, Kimi, DeepSeek. Nicht aufgenommen: MiMo, Qwen, Qianwen.

    In ihren Listen: ChatGPT: 9 · Meta: 4 · Grok: 2 · Gemini: 3 · Claude: 1 · Kimi: 3 · DeepSeek: 1

    Was jede KI angemerkt hat 7
    • ChatGPTPlatz 9

      53,9% abgeschlossene Aufgaben liegen knapp hinter dem Spitzenreiter der nicht öffentlichen Rangliste, sind aber nicht direkt mit den professionellen Computer-Aufgaben von ALE vergleichbar.

      Quelle ↗
    • MetaPlatz 4

      53,9% bei AutomationBench, das beste App-übergreifende Ergebnis, und 10,9% bei GDPx – zu einem Drittel der Opus-Kosten pro Aufgabe.

    • GrokPlatz 2

      Bewertung 77,4% im langen Test, und trotzdem scheitert es strikt an etwa 54 von 100 dieser Aufgaben.

    • GeminiPlatz 3

      Erzielt bei Agents' Last Exam v1.1 eine Bestehensquote von 45,9% und 77,4% Wertung. Starke Teilpunkte bei komplexen Workflows verbindet es mit deterministischen Prüfschritten.

      Quelle ↗
    • ClaudePlatz 1

      Führt Agents' Last Exam v1.1 mit 45,9% strikter Bestehensquote und 77,4% Wertung an und besteht 53,9% der AutomationBench-Aufgaben zu je 2,12 $.

    • KimiPlatz 3

      Der Sieger des strengsten Workflow-Prüfers: 53,9% bei AutomationBench ist die höchste Bestehensquote, die Zapier über 657 echte Geschäftsaufgaben erfasst hat.

    • DeepSeekPlatz 1

      Führt ALE mit 45,9% strikter Bestehensquote und 77,4% Wertung an – scheitert aber auf der schwersten Stufe trotzdem in 100% der Fälle.

      Quelle ↗
    7 KIs setzten es hierher
  3. 3

    Claude Fable 5.2 (Claude Code)

    Seine Bestehensquote von 46,9% im langen Test lässt 9 herabgestufte Aufgaben außen vor und dauerte 227 Stunden, der aufwendigste Lauf. Es besteht 51,4% der Zapier-Abläufe, aber zu 4,64 $ pro Aufgabe.

    Aufgenommen: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Qwen. Nicht aufgenommen: Claude, Qianwen.

    In ihren Listen: ChatGPT: 6 · Meta: 3 · Grok: 7 · Gemini: 2 · MiMo: 2 · Kimi: 4 · DeepSeek: 2 · Qwen: 1

    Was jede KI angemerkt hat 8
    • ChatGPTPlatz 6

      43,4% strikt bestanden, kostet 60,05 $ und dauert im gezeigten Lauf zwei Stunden pro Aufgabe: fast so viel wie die Quote des Spitzenreiters, aber beinahe das 20-Fache der Kosten.

      Quelle ↗
    • MetaPlatz 3

      46,9% bei ALE v1.1 und Spitze des Intelligence Index, nach 227 Stunden Agentenzeit.

      Quelle ↗
    • GrokPlatz 7

      Die Quote von 46,9% lässt 9 Aufgaben aus, und der Lauf dauerte trotzdem 227 Stunden und kostete 4,64 $ pro Workflow.

    • GeminiPlatz 2

      Erreicht bei Agents' Last Exam v1.1 eine Bestehensquote von 46,9% und 72,8% Wertung (Mittelwert ohne die 9 herabgestuften Aufgaben), verlangt aber sorgfältige Kosten- und Prüfdisziplin.

      Quelle ↗
    • MiMoPlatz 2

      Preisgleichheit mit Astra bei etwa 8 $, und das Benchmark-Rennen wird jetzt durch Cent entschieden, nicht mehr durch Klugheit.

      Quelle ↗
    • KimiPlatz 4

      Hat seinen Vorgänger in einer einzigen Veröffentlichung verdoppelt – von 22,4% auf 51,4% bei AutomationBench –, mit 96,9 Tool-Aufrufen pro Aufgabe und 9,01 $ pro tatsächlich bestandenem Durchlauf bei maximalem Aufwand.

    • DeepSeekPlatz 2

      Schließt 41,25% echter Freelance-Aufträge ab, mehr als doppelt so viel wie Opus 5.5 – bei mehr als 15,70 $ pro ALE-Aufgabe.

    • QwenPlatz 1

      Führt SWE-bench Verified mit 95% an und die Pareto-Grenze für reale Arbeit bei Arena mit 11,32 $ pro Aufgabe.

      Quelle ↗
    8 KIs setzten es hierher
  4. 4

    Gemini 4 Neon

    Es führt die offizielle Ablauf-Rangliste von Zapier mit 56,3% zu 1,69 $ pro Aufgabe an. Im langen Berufstest hat es keinen Eintrag, es wird also nur auf einer Rangliste getestet.

    Aufgenommen: ChatGPT, Grok, Gemini, Claude, Qwen. Nicht aufgenommen: Meta, MiMo, Kimi, DeepSeek, Qianwen.

    In ihren Listen: ChatGPT: 2 · Grok: 4 · Gemini: 4 · Claude: 5 · Qwen: 5

    Was jede KI angemerkt hat 5
    • ChatGPTPlatz 2

      56,3% strikt abgeschlossen im nicht öffentlichen Workflow-Satz von Zapier – damit liegt es an der Spitze der aktuellen Modellliste. Eine Aufgabe zählt aber nur, wenn der Endzustand jeder App stimmt.

      Quelle ↗
    • GrokPlatz 4

      Es schließt 56,32% der nicht öffentlichen Workflows von Zapier für 1,69 $ ab, und der lange Berufstest führt es nicht auf.

    • GeminiPlatz 4

      Führt AutomationBench-AA mit 79,3% an, mit 94% erreichter Ziele in App-übergreifenden Geschäfts-Workflows, verlangt bei folgenreichen Aktionen aber weiterhin Leitplanken und menschliche Prüfungen.

      Quelle ↗
    • ClaudePlatz 5

      Es führt AutomationBench mit 56,3% bei 1,69 $ pro Aufgabe an – pro Aufgabe günstiger als Carbon.

      Quelle ↗
    • QwenPlatz 5

      Führt die unabhängige Rangliste AutomationBench-AA von Artificial Analysis mit 79,3% bei simulierten SaaS-Workflows an.

      Quelle ↗
    5 KIs setzten es hierher
  5. 5

    Qwen 4 (Codex harness)

    Es besteht 46,7% des langen Tests, einen Zehntelpunkt hinter Fable, braucht dafür aber 185 Stunden. Ein externes Team hat es laufen lassen, und Angaben zu Abläufen oder Kosten sind nicht veröffentlicht.

    Aufgenommen: Meta, Grok, Gemini. Nicht aufgenommen: ChatGPT, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen.

    In ihren Listen: Meta: 8 · Grok: 5 · Gemini: 5

    Was jede KI angemerkt hat 3
    • MetaPlatz 8

      46,7% bei ALE v1.1, Platz drei direkt hinter der Spitze, mit deutlich weniger veröffentlichten Kosten- und Aufsichtsbelegen.

      Quelle ↗
    • GrokPlatz 5

      Strikte Quote 46,7%, einen Zehntelpunkt hinter Fables Hauptwert, nach 185 Stunden.

      Quelle ↗
    • GeminiPlatz 5

      Spielt bei Agents' Last Exam v1.1 in der Spitzengruppe mit, neben Qwen 4 mit 46,7% Bestehensquote und 74,4% Wertung bei überprüfbaren Berufs-Workflows.

      Quelle ↗
    3 KIs setzten es hierher
  6. 6

    Kimi 3.1 Pro (Kimi Code)

    Es erreicht die 43,4% im langen Test von Opus 5.5, und zwar in 61 statt 177 Stunden, mit 8,5 Mio. Ausgabe-Token gegenüber 21,5 Mio. Unter den Spitzenreitern ist es die effizienteste Wahl.

    Aufgenommen: ChatGPT, Grok, Gemini, Claude, DeepSeek. Nicht aufgenommen: Meta, MiMo, Kimi, Qwen, Qianwen.

    In ihren Listen: ChatGPT: 7 · Grok: 3 · Gemini: 6 · Claude: 4 · DeepSeek: 5

    Was jede KI angemerkt hat 5
    • ChatGPTPlatz 7

      43,4% strikt bestanden bei 7 $ pro Aufgabe und rund 30 Minuten – derselbe Anteil wie teurere Spitzenläufe in dieser Rangliste.

      Quelle ↗
    • GrokPlatz 3

      Dieselbe strikte Quote von 43,4% wie Opus, in etwa einem Drittel der Stunden und mit 8,5 Millionen Token statt 21,5 Millionen.

      Quelle ↗
    • GeminiPlatz 6

      Erzielt mit dem Kimi-Code-Harness eine Spitzen-Bestehensquote von 43,4% und 74,4% Wertung bei 8,5 Millionen Ausgabe-Token – deutlich weniger als die 21,5 Millionen von Claude Opus 5.5.

      Quelle ↗
    • ClaudePlatz 4

      Ein Modell aus der Familie der offenen Gewichte liegt bei ALE v1.1 mit 43,4% gleichauf mit Opus 5.5, während sein Geschwistermodell Kimi K3 bei AutomationBench mit 22,7% auf Platz 12 steht.

      Quelle ↗
    • DeepSeekPlatz 5

      43,4% ALE-Bestehensquote in 61 Stunden – schneller als Opus 5.5 und Fable 5.2 bei ähnlichen Ergebnissen.

      Quelle ↗
    5 KIs setzten es hierher
  7. 7

    Gemini 4 Hydrogen (Antigravity CLI)

    Es ist die Preis-Leistungs-Wahl: 51,1% der Zapier-Abläufe zu 0,82 $ pro Aufgabe und immer noch 30,6% zu 0,18 $. Außerdem besteht es 43,4% des langen Tests.

    Aufgenommen: Grok, Kimi. Nicht aufgenommen: ChatGPT, Meta, Gemini, Claude, MiMo, DeepSeek, Qwen, Qianwen.

    In ihren Listen: Grok: 9 · Kimi: 6

    Was jede KI angemerkt hat 2
    • GrokPlatz 9

      Geschäfts-Workflows kosten 0,82 $ bei einer strikten Quote von 51,14%, während der lange Test 25,5 Millionen Token verbraucht, um 43,4% zu erreichen.

    • KimiPlatz 6

      Die Preis-Leistungs-Spitze: 51,1% bei AutomationBench für 0,82 $ pro Aufgabe – und bei niedrigem Aufwand besteht es noch 30,6% für 0,18 $. Nichts Getestetes ist zugleich günstiger und genauer.

    2 KIs setzten es hierher
  8. 8

    Claude Opus 5.5 (Claude Code)

    Es besteht 43,4% des langen Tests nach 177 Stunden und 21,5 Mio. Token sowie 42,5% der Zapier-Abläufe zu 1,44 $. Seine 38,2% auf der älteren Rangliste stammen aus einem anderen Aufgabenset.

    Aufgenommen: ChatGPT, Meta, Grok, Claude, Kimi, DeepSeek, Qwen. Nicht aufgenommen: Gemini, MiMo, Qianwen.

    In ihren Listen: ChatGPT: 10 · Meta: 1 · Grok: 8 · Claude: 2 · Kimi: 1 · DeepSeek: 4 · Qwen: 4

    Was jede KI angemerkt hat 7
    • ChatGPTPlatz 10

      50,3% im öffentlichen Satz von Zapier mit 600 Aufgaben. Zapier warnt, dass die offiziellen nicht öffentlichen Werte abweichen können.

      Quelle ↗
    • MetaPlatz 1

      Führt den härtesten Berufstest mit 12% an, scheitert aber trotzdem an 88% – bei 51,41 $ pro Aufgabe.

      Quelle ↗
    • GrokPlatz 8

      Strikte Quote 43,4% und Bewertung 71,6% nach 177 Stunden und 21,5 Millionen Ausgabe-Token.

      Quelle ↗
    • ClaudePlatz 2

      Es teilt sich bei ALE v1.1 mit 43,4% den zweiten Platz, doch bei AutomationBench erreicht es 29,5% bei 0,65 $ pro Aufgabe auf mittlerer Stufe und 42,5% auf der höchsten Stufe – je nach Einstellung eine große Spanne.

      Quelle ↗
    • KimiPlatz 1

      Führt den strengsten Berufstest an (38,2% Bestehensquote, 63,2% Wertung bei Agents' Last Exam) sowie GDPval-AA (68,3%) – für 1.340 $ und 183 Stunden Rechenzeit.

      Quelle ↗
    • DeepSeekPlatz 4

      Am besten bei DAYJOBs Berufsaufgaben von 13 bis 17 Stunden im Gesundheitswesen mit 24,7% – aber 177 Stunden bei ALE.

      Quelle ↗
    • QwenPlatz 4

      Erreicht bei SWE-bench Verified 97% (mit Mini-SWE-agent) und kostet auf Arenas Arbeits-Rangliste nur 8,06 $ pro Aufgabe.

      Quelle ↗
    7 KIs setzten es hierher
  9. 9

    GPT-6.2 Sol (Codex)

    Es verliert gegenüber Astra etwa sechs Punkte, besteht 41,8% des langen Tests und ist trotzdem in 32 Stunden mit 3,1 Mio. Token fertig. Eine Punktzahl auf der Ablauf-Rangliste ist nicht veröffentlicht.

    Aufgenommen: Grok, MiMo. Nicht aufgenommen: ChatGPT, Meta, Gemini, Claude, Kimi, DeepSeek, Qwen, Qianwen.

    In ihren Listen: Grok: 6 · MiMo: 3

    Was jede KI angemerkt hat 2
    • GrokPlatz 6

      Es liegt sechs Punkte bei der Bestehensquote hinter Astra zurück und schafft den langen Test trotzdem in 32 Stunden.

      Quelle ↗
    • MiMoPlatz 3

      Kommt bei echten Codebasen fast an das Spitzenmodell heran, zu einem Fünftel der Kosten – das Preis-Leistungs-Schnäppchen des Starts.

      Quelle ↗
    2 KIs setzten es hierher
  10. 10

    Gemini 4 Argon

    Es besteht 51,3% der Zapier-Abläufe zu einem Listenpreis von 1,70 $, aber nur 40,2% des langen Tests. Im Oktober führte es die Ablauf-Rangliste an, bevor Neon es überholte.

    Aufgenommen: Meta, Grok, Claude, DeepSeek. Nicht aufgenommen: ChatGPT, Gemini, MiMo, Kimi, Qwen, Qianwen.

    In ihren Listen: Meta: 5 · Grok: 10 · Claude: 8 · DeepSeek: 6

    Was jede KI angemerkt hat 4
    • MetaPlatz 5

      51,3% bei AutomationBench, 337 von 657 Workflows, für 1,70 $ pro Aufgabe.

    • GrokPlatz 10

      Der Listenpreis liegt bei 1,70 $ pro Workflow für eine strikte Quote von 51,29%, und die Bestehensquote im langen Test beträgt 40,2%.

    • ClaudePlatz 8

      Es erreicht 40,2% bei ALE v1.1 und steht außerdem in einer erneut ausgeführten Momentaufnahme von AutomationBench 1.0.6 mit 51,3% an der Spitze.

      Quelle ↗
    • DeepSeekPlatz 6

      51,3% strikte Bestehensquote bei AutomationBench, 1,70 $ pro Aufgabe – der beste App-übergreifende Workflow-Agent.

      Quelle ↗
    4 KIs setzten es hierher

Mehr über die ersten drei ↓

02Wissenswert

Was den KIs beim Erstellen der Liste aufgefallen ist.

Strikte Bestehensquote und bewertete Punktzahl erzählen verschiedene Geschichten. GPT-6.2 Astra besteht 47,5% der langen Aufgaben vollständig, erreicht im Schnitt aber 78,3%. Ein großer Teil seiner Arbeit erhält also Teilpunkte, ohne alle Prüfungen zu bestehen.

Bemerkt von:
Aufgenommen: ChatGPT, Grok, Claude. Nicht aufgenommen: Meta, Gemini, MiMo, Kimi, DeepSeek, Qwen, Qianwen.
Quelle ↗

Fehlschläge sehen wie Erfolge aus: Zapier meldet, dass der Agent Erfolg behauptete, obwohl die Einträge in 91% der Gemini-Fehlschläge, 84% der GPT-5.4-Fehlschläge und 72% der Opus-Fehlschläge falsch waren.

Bemerkt von:
Aufgenommen: Meta, Grok, Kimi. Nicht aufgenommen: ChatGPT, Gemini, Claude, MiMo, DeepSeek, Qwen, Qianwen.
Quelle ↗

Eine ähnliche Bestehensquote kann einen Tag oder eine Woche Maschinenzeit kosten. Die 47,5% von Astra brauchten 29 Stunden, während die 46,9% von Fable 5.2, bei einem Satz mit 9 fehlenden Aufgaben, 227 Stunden brauchten.

Bemerkt von:
Aufgenommen: Meta, Grok. Nicht aufgenommen: ChatGPT, Gemini, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen.
Quelle ↗

Jedes Modell, das im AutomationBench-AA getestet wurde, verletzte Geschäftsregeln, und zwar mit 0,46 bis 1,26 Verstößen pro Aufgabe. Menschliche Prüfung ist daher nicht optional.

Bemerkt von:
Aufgenommen: Kimi, DeepSeek. Nicht aufgenommen: ChatGPT, Meta, Grok, Gemini, Claude, MiMo, Qwen, Qianwen.
Quelle ↗

Epoch AI bewertete Agents' Last Exam v1.1 als fehlerhaft: In einer Stichprobe konnten 22 von 50 Aufgaben volle Punkte geben, ohne dass die vorgesehene Arbeit erledigt war. Behandeln Sie die Werte als Beleg, nicht als Garantie für Zuverlässigkeit.

Bemerkt von:
Aufgenommen: ChatGPT, Claude. Nicht aufgenommen: Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Qwen, Qianwen.
Quelle ↗

03So haben wir gezählt

In einfachen Worten, ohne Formeln.

1Die Frage

Top 10 der KI-Agenten für die Berufsarbeit: Leistung bei Aufgaben, Kosten und menschliche Aufsicht

2Warum dieses Thema

Sie sehen gemessene Leistung bei Aufgaben neben Kosten, Laufzeit und dem Bedarf an menschlicher Prüfung. Diese Abwägungen erfasst kein einzelner Test.

3Wofür es gilt

Globale KI-Agentensysteme, im Fokus auf lange und überprüfbare Berufsabläufe

4Worauf wir geachtet haben

  • Vergleichen Sie Abschlussquoten und bewertete Punktzahlen bei langen Berufsaufgaben, einschließlich Teilpunkten und strikter Bestehensquoten.
  • Stellen Sie Leistung gegen Kosten, Laufzeit und die menschliche Prüfung, Korrektur oder Übernahme, die nötig ist, um dem Ergebnis zu vertrauen.
  • Agents' Last Exam v1.1 (UC Berkeley RDI, RDI Foundation, Snorkel AI) — Strikte Bestehensquote und bewertete Punktzahl mit Teilpunkten bei 122 öffentlichen langen Aufgaben aus 55 Teilbranchen, mit Laufzeit und Ausgabe
  • Zapier AutomationBench 1.0.6 — Strikt vollständige Abschlüsse branchenübergreifender Geschäftsabläufe über Apps auf einem privaten Testsatz (47 simulierte Apps, sechs Funktionen), mit Kosten pro Aufgabe. Jede Prüfung muss bestanden werden.
  • Artificial Analysis AutomationBench-AA — Unabhängige Wiederholung auf Zapiers 657 privaten Aufgaben: zielgerichteter Abschluss unter Einhaltung der Regeln (Teilpunkte) plus strikte Bestehensquote. Jedes Modell verletzt Geschäftsregeln, mit
  • Epoch AI-Prüfung von Agents' Last Exam — Prüfung des Tests selbst: In einer Stichprobe erlaubten 22 von 50 Aufgaben volle Punkte ohne die vorgesehene Arbeit.

5Wer gerankt hat

Die führenden KIs: ChatGPT, Meta, Grok, Gemini, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen. Jede hat unabhängig ihre eigene Zehnerliste erstellt und für jeden Platz eine Quelle genannt.

6Wie die Plätze festgelegt wurden

Derselbe Eintrag, von verschiedenen KIs unterschiedlich formuliert, wurde als einer gezählt. Je mehr KIs einen Eintrag auf ihre Liste setzten und je höher, desto höher sein Platz. „Einigkeit der KIs“ zeigt, wie viele KIs ihn auf ihrer eigenen Liste hatten. Quellen sind nur die, die die KIs selbst gefunden haben; nichts wurde von Hand ergänzt.

04Die Liste jeder KI

🇺🇸 ChatGPT10 Plätze · 4 Hinweise

Dieselbe Frage, allein von ChatGPT beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    GPT-6.2 Astra — Agents' Last Exam v1.1

    Strenge Bestehensquote 47,5% und Bewertung 78,3% bei 3,05 $ pro Aufgabe und rund 14 Minuten: Fast die Hälfte der Aufgaben scheitert weiterhin an der Alles-oder-nichts-Hürde.

    Quelle ↗
  2. 2
    Gemini 4 Neon — AutomationBench (Zapier)

    56,3% strikt abgeschlossen im nicht öffentlichen Workflow-Satz von Zapier – damit liegt es an der Spitze der aktuellen Modellliste. Eine Aufgabe zählt aber nur, wenn der Endzustand jeder App stimmt.

    Quelle ↗
  3. 3
    GPT-6.2 Astra — AutomationBench (Zapier)

    52,4% strikt bestandene Workflows in derselben nicht öffentlichen Rangliste; das ALE-Ergebnis von 3,05 $ pro Aufgabe ist ein zweiter, nicht vergleichbarer Datenpunkt.

    Quelle ↗
  4. 4
    GPT-6.2 Astra — AutomationBench-AA

    Artificial Analysis bewertet 657 von Zapier entworfene Aufgaben und 22.822 Prüfpunkte. Dabei werden teilweise erreichte Ziele neben den strikten Bestehensquoten ausgewiesen, statt jede Aufgabe auf ein schlichtes Bestanden oder Nicht-Bestanden zu reduzieren.

    Quelle ↗
  5. 5
    GPT-6.2 Astra — Remote Labor Index

    Schneidet bei simulierten Workflow-Tests gut ab. Der von Experten bewertete Freelance-Projekt-Benchmark von Scale AI bietet aber eine nötige Gegenprobe zu sauberen Testumgebungen.

    Quelle ↗
  6. 6
    Claude Fable 5.2 Max — Agents' Last Exam v1.1

    43,4% strikt bestanden, kostet 60,05 $ und dauert im gezeigten Lauf zwei Stunden pro Aufgabe: fast so viel wie die Quote des Spitzenreiters, aber beinahe das 20-Fache der Kosten.

    Quelle ↗
  7. 7
    Kimi K3.1 Pro Max — Agents' Last Exam v1.1

    43,4% strikt bestanden bei 7 $ pro Aufgabe und rund 30 Minuten – derselbe Anteil wie teurere Spitzenläufe in dieser Rangliste.

    Quelle ↗
  8. 8
    Claude Opus 5.5 Max — Agents' Last Exam v1.1

    43,4% strikt bestanden bei 17,57 $ pro Aufgabe und 87 Minuten – unter der Quote des besten Laufs, bei deutlich höheren angegebenen Kosten.

    Quelle ↗
  9. 9
    Gemini 4 Carbon — AutomationBench (Zapier)

    53,9% abgeschlossene Aufgaben liegen knapp hinter dem Spitzenreiter der nicht öffentlichen Rangliste, sind aber nicht direkt mit den professionellen Computer-Aufgaben von ALE vergleichbar.

    Quelle ↗
  10. 10
    Claude Opus 5 — AutomationBench public benchmark

    50,3% im öffentlichen Satz von Zapier mit 600 Aufgaben. Zapier warnt, dass die offiziellen nicht öffentlichen Werte abweichen können.

    Quelle ↗

Was ChatGPT aufgefallen ist

Strikte Bestehensquote und Bewertung erzählen verschiedene Geschichten: Für den ALE-Lauf von GPT-6.2 Astra werden 47,5% vollständig bestanden und 78,3% im Durchschnitt angegeben. Viele Läufe haben also Teilpunkte bekommen, ohne jede Anforderung des Bewertungsschemas zu erfüllen.

Bei AutomationBench lag die höchste gezeigte Quote im nicht öffentlichen Satz bei 56,3%, während Zapiers öffentliches Repository für sein bestes gelistetes Modell im öffentlichen Satz 50,3% angibt. Getrennte Sätze erklären, warum diese Zahlen nicht zusammengefasst werden sollten.

Kostenrangen können die scheinbare Leistung umkehren: Ein ALE-Lauf für Claude Fable 5.2 Max kostete 60,05 $ und dauerte zwei Stunden für 43,4% strikt bestanden, gegenüber 47,5% bei GPT-6.2 Astra für 3,05 $ und rund 14 Minuten.

Eine Prüfung des Benchmarks fand gravierende Schwächen bei der Bewertung in einer Stichprobe von ALE-Aufgaben: Epoch AI nannte 22 von 50 Stichprobenaufgaben, die volle Punkte ohne die vorgesehene Arbeit erlaubten. Das ist ein Grund, Ranglisten als Belege zu lesen, nicht als Garantie für Zuverlässigkeit im Arbeitsalltag.

🇺🇸 Meta10 Plätze · 3 Hinweise

Dieselbe Frage, allein von Meta beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Claude Opus 5.5 (Max) – Claude Code

    Führt den härtesten Berufstest mit 12% an, scheitert aber trotzdem an 88% – bei 51,41 $ pro Aufgabe.

    Quelle ↗
  2. 2
    GPT-6.2 Astra (Max) – Codex

    47,5% bestanden bei ALE v1.1, die bisher höchste strikte Quote, in 29 Stunden statt 227.

    Quelle ↗
  3. 3
    Claude Fable 5.2 (Max) – Claude Code

    46,9% bei ALE v1.1 und Spitze des Intelligence Index, nach 227 Stunden Agentenzeit.

    Quelle ↗
  4. 4
    Gemini 4 Carbon (High)

    53,9% bei AutomationBench, das beste App-übergreifende Ergebnis, und 10,9% bei GDPx – zu einem Drittel der Opus-Kosten pro Aufgabe.

  5. 5
    Gemini 4 Argon (High)

    51,3% bei AutomationBench, 337 von 657 Workflows, für 1,70 $ pro Aufgabe.

  6. 6
    GPT-6 Astra (Max) – Codex

    9,6% bei GDPx und 41,4% bei AutomationBench: stark, aber bei beiden einen Schritt unter seinem Nachfolger 6.2.

    Quelle ↗
  7. 7
    Claude Sonnet 5.5 (Max)

    44,7% bei AutomationBench, das praktische Claude für routinemäßige App-übergreifende Arbeit, bei 1,14 $ pro Aufgabe.

  8. 8
    Qwen 4

    46,7% bei ALE v1.1, Platz drei direkt hinter der Spitze, mit deutlich weniger veröffentlichten Kosten- und Aufsichtsbelegen.

    Quelle ↗
  9. 9
    GPT-6.1 Terra (Max)

    60,0% bewertet bei ALE, 1,01 $ pro Aufgabe – neunmal günstiger als Opus 5.5 bei fünf Punkten weniger.

    Quelle ↗
  10. 10
    GitHub Copilot Fusion (Max)

    71,2% bei Terminal-Bench, das höchste Terminal-Ergebnis, aber Terminal-Aufgaben sind keine allgemeine Berufsarbeit.

    Quelle ↗

Was Meta aufgefallen ist

Der beste Agent bei GDPx scheitert noch an 88% der Expertenaufgaben, und in den frühen Berichten zu diesem Benchmark erzielte jedes Modell bei Finanzen und Recht null Punkte.

Die Kosten drehen die Rangfolge um: Fable 5.2 brauchte bei ALE v1.1 227 Stunden, GPT-6.2 Astra dagegen 29 Stunden für eine höhere Quote.

Der Zeithorizont von METR verdoppelt sich seit 2023 etwa alle 130 Tage. Doch der Zeithorizont mit 80% Verlässlichkeit ist weit kürzer als der mit 50%. Verlässliche lange Arbeit hinkt deshalb den Schlagzeilen über lange Arbeit hinterher.

🇺🇸 Grok10 Plätze · 3 Hinweise

Dieselbe Frage, allein von Grok beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    GPT-6.2 Astra

    Es schließt 47,5% von 122 langen Berufsaufgaben strikt ab, in 29 Stunden – einen Lauf, für den Fable 227 Stunden braucht.

  2. 2
    Gemini 4 Carbon

    Bewertung 77,4% im langen Test, und trotzdem scheitert es strikt an etwa 54 von 100 dieser Aufgaben.

  3. 3
    Kimi 3.1 Pro

    Dieselbe strikte Quote von 43,4% wie Opus, in etwa einem Drittel der Stunden und mit 8,5 Millionen Token statt 21,5 Millionen.

    Quelle ↗
  4. 4
    Gemini 4 Neon

    Es schließt 56,32% der nicht öffentlichen Workflows von Zapier für 1,69 $ ab, und der lange Berufstest führt es nicht auf.

  5. 5
    Qwen 4

    Strikte Quote 46,7%, einen Zehntelpunkt hinter Fables Hauptwert, nach 185 Stunden.

    Quelle ↗
  6. 6
    GPT-6.2 Sol

    Es liegt sechs Punkte bei der Bestehensquote hinter Astra zurück und schafft den langen Test trotzdem in 32 Stunden.

    Quelle ↗
  7. 7
    Claude Fable 5.2

    Die Quote von 46,9% lässt 9 Aufgaben aus, und der Lauf dauerte trotzdem 227 Stunden und kostete 4,64 $ pro Workflow.

  8. 8
    Claude Opus 5.5

    Strikte Quote 43,4% und Bewertung 71,6% nach 177 Stunden und 21,5 Millionen Ausgabe-Token.

    Quelle ↗
  9. 9
    Gemini 4 Hydrogen

    Geschäfts-Workflows kosten 0,82 $ bei einer strikten Quote von 51,14%, während der lange Test 25,5 Millionen Token verbraucht, um 43,4% zu erreichen.

  10. 10
    Gemini 4 Argon

    Der Listenpreis liegt bei 1,70 $ pro Workflow für eine strikte Quote von 51,29%, und die Bestehensquote im langen Test beträgt 40,2%.

Was Grok aufgefallen ist

Die beste strikte Quote im langen Berufstest verfehlt trotzdem die meisten Aufgaben: GPT-6.2 Astra besteht 47,5% von 122 Aufgaben, sodass ein Mensch den Rest abschließen oder verwerfen muss.

Eine ähnliche Bestehensquote im langen Test kann eine Woche Rechenzeit kosten oder einen Tag. Astras 47,5% brauchten 29 Stunden und 2,6 Millionen Ausgabe-Token; Fable 5.2 mit 46,9% in einem Satz, der 9 Aufgaben weglässt, brauchte 227 Stunden und 28,2 Millionen.

Im Juni berichtete Berkeley, dass jeder Spitzenagent, den es testete, einschließlich Fable 5, in der schwersten Stufe 0% erzielte; das beste Gesamtergebnis lag bei etwa 26%. Die Oktober-Rangliste ist ein anderer, kleinerer öffentlicher Satz.

🇺🇸 Gemini10 Plätze · 3 Hinweise

Dieselbe Frage, allein von Gemini beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Codex + GPT-6.2 Astra

    Führt Agents' Last Exam v1.1 mit 47,5% Bestehensquote und 78,3% Teilpunkte-Wertung an, bei 2,6 Millionen Ausgabe-Token. Nutzer bemängeln allerdings weiterhin Überkomplizierung und ungeprüfte Behauptungen.

    Quelle ↗
  2. 2
    Claude Code + Fable 5.2

    Erreicht bei Agents' Last Exam v1.1 eine Bestehensquote von 46,9% und 72,8% Wertung (Mittelwert ohne die 9 herabgestuften Aufgaben), verlangt aber sorgfältige Kosten- und Prüfdisziplin.

    Quelle ↗
  3. 3
    ALE-Claw + Gemini 4 Carbon

    Erzielt bei Agents' Last Exam v1.1 eine Bestehensquote von 45,9% und 77,4% Wertung. Starke Teilpunkte bei komplexen Workflows verbindet es mit deterministischen Prüfschritten.

    Quelle ↗
  4. 4
    Gemini 4 Neon (Xhigh)

    Führt AutomationBench-AA mit 79,3% an, mit 94% erreichter Ziele in App-übergreifenden Geschäfts-Workflows, verlangt bei folgenreichen Aktionen aber weiterhin Leitplanken und menschliche Prüfungen.

    Quelle ↗
  5. 5
    Codex + Qwen4-Max

    Spielt bei Agents' Last Exam v1.1 in der Spitzengruppe mit, neben Qwen 4 mit 46,7% Bestehensquote und 74,4% Wertung bei überprüfbaren Berufs-Workflows.

    Quelle ↗
  6. 6
    Kimi Code + Kimi 3.1 Pro

    Erzielt mit dem Kimi-Code-Harness eine Spitzen-Bestehensquote von 43,4% und 74,4% Wertung bei 8,5 Millionen Ausgabe-Token – deutlich weniger als die 21,5 Millionen von Claude Opus 5.5.

    Quelle ↗
  7. 7
    Claude Opus 5

    Führt die öffentliche AutomationBench-Bewertung für SaaS-Aufgaben über mehrere Bereiche an: 50,3% Bestehensquote bei maximalem Aufwand in Vertrieb, Marketing, Betrieb, Support, Finanzen und Personal.

    Quelle ↗
  8. 8
    Antigravity CLI

    Erreicht bei Agents' Last Exam v1.1 eine Spitzen-Bestehensquote von 43,4% und zeigt damit eine konkurrenzfähige Steuerung des Agenten-Harness bei mehrstufigen Aufgaben.

    Quelle ↗
  9. 9
    Muse Code

    Verzeichnet bei Agents' Last Exam v1.1 eine Spitzen-Bestehensquote von 38,5%, liegt bei der strikten vollständigen Erledigung hinter den besten Harnesses und braucht bei Grenzfällen menschliche Prüfung.

    Quelle ↗
  10. 10
    OpenClaw

    Erzielt bei Agents' Last Exam v1.1 eine Spitzen-Bestehensquote von 36,1%. Die Automatisierung ist nützlich, lässt aber viel Raum für menschliche Prüfung und Korrektur.

    Quelle ↗

Was Gemini aufgefallen ist

Selbst die Spitzenquote bei Agents' Last Exam v1.1 (47,5%) lässt mehr als die Hälfte der 122 Aufgaben ungelöst, während schwerere Stufen bisher im Schnitt unter 1% vollständige Bestehensquoten hatten.

Token-Kosten und Laufzeit unterscheiden sich je nach Modell und Harness stark. Kimi 3.1 Pro erreicht zum Beispiel 74,4% Wertung mit 8,5 Millionen Ausgabe-Token, Opus 5.5 braucht dafür 21,5 Millionen. Schlanke Harnesses können die Kosten um 41% senken, ohne die Qualität stark zu mindern.

Der Bericht von Zapier vom November 2026 zeigt: 45% der Führungskräfte beschränken die menschliche Aufsicht über KI auf folgenreiche Arbeit – oder verzichten ganz darauf –, obwohl Agenten weiterhin Fehler machen, die menschliche Prüfung brauchen.

🇺🇸 Claude10 Plätze · 4 Hinweise

Dieselbe Frage, allein von Claude beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Gemini 4 Carbon (Google)

    Führt Agents' Last Exam v1.1 mit 45,9% strikter Bestehensquote und 77,4% Wertung an und besteht 53,9% der AutomationBench-Aufgaben zu je 2,12 $.

  2. 2
    Claude Opus 5.5 (Anthropic)

    Es teilt sich bei ALE v1.1 mit 43,4% den zweiten Platz, doch bei AutomationBench erreicht es 29,5% bei 0,65 $ pro Aufgabe auf mittlerer Stufe und 42,5% auf der höchsten Stufe – je nach Einstellung eine große Spanne.

    Quelle ↗
  3. 3
    GPT-6 Astra (OpenAI)

    Es erreicht 42,6% bei ALE v1.1, und bei AutomationBench reicht es von 30,3% bei niedrigem Aufwand (1,08 $ pro Aufgabe) bis 41,4% bei maximalem Aufwand.

    Quelle ↗
  4. 4
    Kimi 3.1 Pro / K3.1 (Moonshot)

    Ein Modell aus der Familie der offenen Gewichte liegt bei ALE v1.1 mit 43,4% gleichauf mit Opus 5.5, während sein Geschwistermodell Kimi K3 bei AutomationBench mit 22,7% auf Platz 12 steht.

    Quelle ↗
  5. 5
    Gemini 4 Neon (Google)

    Es führt AutomationBench mit 56,3% bei 1,69 $ pro Aufgabe an – pro Aufgabe günstiger als Carbon.

    Quelle ↗
  6. 6
    GPT-5.5 with Codex (OpenAI)

    Es lag beim ursprünglichen Agents' Last Exam mit 24,0% strikter Bestehensquote vorn, und Codex wird in späteren Berichten mit 26% genannt.

    Quelle ↗
  7. 7
    Claude Fable 5 with Claude Code (Anthropic)

    Es wurde beim ursprünglichen ALE mit 22,0% Dritter, hinter zwei GPT-5.5-Konfigurationen.

    Quelle ↗
  8. 8
    Gemini 4 Argon (Google)

    Es erreicht 40,2% bei ALE v1.1 und steht außerdem in einer erneut ausgeführten Momentaufnahme von AutomationBench 1.0.6 mit 51,3% an der Spitze.

    Quelle ↗
  9. 9
    Claude Sonnet 5.5 (Anthropic)

    Ein Aggregator führt es bei ALE v1.1 mit 60,4% auf, aber die Spalte sieht eher nach Wertung als nach Bestehensquote aus.

    Quelle ↗
  10. 10
    Muse Wonder 1.0

    Es folgt bei ALE v1.1 mit 38,5% Bestehensquote auf die Spitzengruppe.

    Quelle ↗

Was Claude aufgefallen ist

Dieselbe Agenten-Familie kann bei AutomationBench je nach Aufwandseinstellung etwa 30% oder 42% erreichen. Die Einstellung zählt also genauso viel wie das Modell.

Beim ersten Agents' Last Exam lag die durchschnittliche strikte Bestehensquote auf der schwersten Stufe bei 2,6%, und die meisten Modelle, darunter GPT-5.5 und Fable 5, erzielten null.

Strikte Bestehensquote gegenüber Bewertung zeigt, wie viel Teilpunkte verbergen: Gemini 4 Carbon besteht 45,9% der ALE-v1.1-Aufgaben vollständig, erreicht im Schnitt aber 77,4%.

Ein berichteter Test von KPMG mit mehr als 100 Agenten bei einer laufenden Prüfung brauchte trotzdem eine menschliche Korrektur – ein Gegenstück aus der Praxis zu diesen Benchmark-Werten.

🇨🇳 MiMo10 Plätze · 4 Hinweise

Dieselbe Frage, allein von MiMo beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    GPT-6.2 Astra (OpenAI, 2026)

    Das erste Modell, das je für seine Fähigkeit zur Selbstverbesserung als „High“ eingestuft wurde – und trotzdem das Modell, das Menschen als Letztes beaufsichtigen.

    Quelle ↗
  2. 2
    Claude Fable 5.2 (Anthropic, 2026)

    Preisgleichheit mit Astra bei etwa 8 $, und das Benchmark-Rennen wird jetzt durch Cent entschieden, nicht mehr durch Klugheit.

    Quelle ↗
  3. 3
    GPT-6.2 Sol (OpenAI, 2026)

    Kommt bei echten Codebasen fast an das Spitzenmodell heran, zu einem Fünftel der Kosten – das Preis-Leistungs-Schnäppchen des Starts.

    Quelle ↗
  4. 4
    EY multi-agent audit framework (EY Canvas)

    Der Gewinner ist die unspektakulärste Art von Agent: eingebaut in die Software, die Prüfer ohnehin nutzen.

    Quelle ↗
  5. 5
    KPMG audit agent swarm (Project Exponential)

    Mehr als 100 Agenten in jeder Prüfphase – und eine menschliche Korrektur ist der wertvollste Datenpunkt der Branche.

    Quelle ↗
  6. 6
    KPMG Clara Intelligence agents (US)

    Gesteuerte Agenten mit „human-assured“ im Produktnamen – Aufsicht als Werbeargument.

    Quelle ↗
  7. 7
    PwC AI Agent Operating System

    Eine Orchestrierungsschicht statt eines Agenten – die Infrastruktur, in die andere überprüfbare Agenten einstecken werden.

    Quelle ↗
  8. 8
    AutomationBench agent harness (Zapier, benchmark)

    47 echte Werkzeuge und bewusst mehrdeutige Aufgaben – am ehesten eine Generalprobe für Büroarbeit.

  9. 9
    Agents' Last Exam harness (UC Berkeley RDI)

    Der einzige öffentliche Test, der ganze, mehrtägige Berufsaufträge mit verborgenen Lösungen bewertet statt einzelner Fragen.

  10. 10
    KPMG Ignite Financial Assistant (Workday/Google Cloud)

    Assistent für den Monatsabschluss – eng begrenzt, überprüfbar und näher an echter Finanzarbeit als die meisten Demos.

    Quelle ↗

Was MiMo aufgefallen ist

Das neue Rennen dreht sich um Kosten pro fertiger Aufgabe, nicht um Cleverness: Astra kostet pro Aufgabe weniger als ein Drittel seines Vorgängers, und Sol kommt bei echten Codebasen an das Spitzenmodell heran, zu einem Fünftel des Preises.

Die für die Sicherheit wichtigste Zahl beim Start ist keine Punktzahl, sondern eine Einstufung: Astra ist das erste Modell, das bei der Selbstverbesserung als „High“ eingestuft wurde.

Benchmarks und Wirklichkeit weichen voneinander ab: Agents' Last Exam und AutomationBench bewerten simulierte Aufgaben, während der einzige vollständige Live-Berufstest (KPMG) eine menschliche Korrektur brauchte.

Eine unabhängige Rangliste (AutomationBench-AA) gibt es genau deshalb, weil der Schöpfer des Benchmarks selbst auch Agenten verkauft – ein Steuerungsmodell, das andere Labore kopieren.

🇨🇳 Kimi10 Plätze · 3 Hinweise

Dieselbe Frage, allein von Kimi beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Claude Opus 5.5 (Claude Code)

    Führt den strengsten Berufstest an (38,2% Bestehensquote, 63,2% Wertung bei Agents' Last Exam) sowie GDPval-AA (68,3%) – für 1.340 $ und 183 Stunden Rechenzeit.

    Quelle ↗
  2. 2
    GPT-6 Astra (Codex harness)

    Zweiter bei Agents' Last Exam (34,2%) mit der besten Computer-Nutzungs-Wertung der Klasse (72,6% OSWorld 2.0, etwa 40 Min. pro Aufgabe) – und halb so hohe Programmierkosten pro Aufgabe wie Claude bei gleichem Indexwert.

    Quelle ↗
  3. 3
    Gemini 4 Carbon

    Der Sieger des strengsten Workflow-Prüfers: 53,9% bei AutomationBench ist die höchste Bestehensquote, die Zapier über 657 echte Geschäftsaufgaben erfasst hat.

  4. 4
    Claude Fable 5.2 (with default fallbacks)

    Hat seinen Vorgänger in einer einzigen Veröffentlichung verdoppelt – von 22,4% auf 51,4% bei AutomationBench –, mit 96,9 Tool-Aufrufen pro Aufgabe und 9,01 $ pro tatsächlich bestandenem Durchlauf bei maximalem Aufwand.

  5. 5
    GPT-6.2 Astra

    Trägt die höchste selbst gemeldete Zahl für Berufsarbeit überhaupt – 77,6% bei ALE v1.1 –, doch das ist der eigene Lauf des Labors mit Bewertungsschema bei maximalem Aufwand, nicht die strikte Bestehensquote, nach der andere bewertet werden.

    Quelle ↗
  6. 6
    Gemini 4 Hydrogen

    Die Preis-Leistungs-Spitze: 51,1% bei AutomationBench für 0,82 $ pro Aufgabe – und bei niedrigem Aufwand besteht es noch 30,6% für 0,18 $. Nichts Getestetes ist zugleich günstiger und genauer.

  7. 7
    Claude Sonnet 5.5

    Schlägt sein größeres Geschwistermodell Opus 5.5 bei AutomationBench (44,6% gegenüber 40,0%) zu einem Bruchteil der Kosten – der deutlichste Beleg dafür, dass der Preis nichts über die Leistung aussagt.

  8. 8
    GPT-6 Sol

    Das Arbeitstier fürs Preis-Leistungs-Verhältnis: 32,2% strikte Bestehensquote bei Agents' Last Exam für insgesamt 318 $ (gegenüber 1.100 $ bei Astra) und etwa 80% von Astras AutomationBench-Wertung zu etwa einem Sechstel der Kosten.

  9. 9
    MiniMax M3.1 Flash

    Der Preisbrecher: 29,6% bei Agents' Last Exam für insgesamt 91,44 $ – etwa 7% dessen, was der Spitzenreiter ausgegeben hat – und auf den mittleren Aufgaben des Benchmarks steigt es auf 46,3%.

    Quelle ↗
  10. 10
    Kimi K3

    Das beste Agenten-Paket mit offenen Gewichten im Berufstest (28,3% strikte Bestehensquote im eigenen Kimi-Code-Harness) – und 0,43 $ pro Aufgabe bei AutomationBench.

    Quelle ↗

Was Kimi aufgefallen ist

Die schwierigste Arbeit ist noch unberührt: Auf der schwersten Stufe von Agents' Last Exam – Aufgaben, für die menschliche Experten Tage bis Wochen brauchen – erzielte jeder getestete Spitzenagent, auch die damals neuesten Flaggschiffe, 0%. Die Spitzenquote der Rangliste von rund 38% bezieht sich auf den gesamten Aufgabensatz, nicht auf das schwere Ende.

Am oberen Ende kauft Geld erstaunlich wenig: Die ALE-Kosten liegen um eine Größenordnung auseinander (etwa 1,33–15,70 $ pro abgeschlossene Aufgabe im Juni-Durchlauf), und MiniMax M3.1 Flash erreicht rund 77% der strikten Bestehensquote des Spitzenreiters für etwa 7% von dessen Gesamtausgaben (91 $ gegenüber 1.340 $).

Strikte Bestehensquoten halten alle bescheiden: Die beste Punktzahl bei AutomationBench mit 657 Aufgaben liegt bei 53,9%, und im simulierten Büro von TheAgentCompany schließt das stärkste Modell nur etwa 30% der Berufsaufgaben vollständig ab. „Nützliche Agenten gibt es schon; einsatzfertige Agenten noch nicht.“

🇨🇳 DeepSeek10 Plätze · 3 Hinweise

Dieselbe Frage, allein von DeepSeek beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Gemini 4 Carbon (ALE-Claw)

    Führt ALE mit 45,9% strikter Bestehensquote und 77,4% Wertung an – scheitert aber auf der schwersten Stufe trotzdem in 100% der Fälle.

    Quelle ↗
  2. 2
    Claude Fable 5.2 / 5.1 (Claude Code)

    Schließt 41,25% echter Freelance-Aufträge ab, mehr als doppelt so viel wie Opus 5.5 – bei mehr als 15,70 $ pro ALE-Aufgabe.

  3. 3
    GPT-6 Astra (Codex)

    42,6% ALE-Bestehensquote bei 80 Stunden und 5,1 Millionen Token – der Effizienzführer unter den drei besten ALE-Agenten.

    Quelle ↗
  4. 4
    Claude Opus 5.5 (Claude Code)

    Am besten bei DAYJOBs Berufsaufgaben von 13 bis 17 Stunden im Gesundheitswesen mit 24,7% – aber 177 Stunden bei ALE.

    Quelle ↗
  5. 5
    Kimi 3.1 Pro (Kimi Code)

    43,4% ALE-Bestehensquote in 61 Stunden – schneller als Opus 5.5 und Fable 5.2 bei ähnlichen Ergebnissen.

    Quelle ↗
  6. 6
    Gemini 4 Argon (ALE-Claw)

    51,3% strikte Bestehensquote bei AutomationBench, 1,70 $ pro Aufgabe – der beste App-übergreifende Workflow-Agent.

    Quelle ↗
  7. 7
    GPT-6 Sol (Codex)

    33,2% Bestehensquote bei AutomationBench, 0,27 $ pro Aufgabe – der günstigste glaubwürdige Workflow-Agent.

    Quelle ↗
  8. 8
    Claude Sonnet 5.5

    44,7% strikte Bestehensquote bei AutomationBench, 1,14 $ – 6,6 Punkte hinter dem Spitzenreiter, aber 33% günstiger.

    Quelle ↗
  9. 9
    Gemini 3.5 Flash

    42,6% bei AutomationBench-AA, 0,49 $ pro Aufgabe und 0,46 Verstöße gegen Leitplanken pro Aufgabe – die günstigste halbwegs sichere Option.

    Quelle ↗
  10. 10
    DeepSeek V4.1 Flash (OpenClaw)

    36,1% ALE-Bestehensquote in 76 Stunden – die Option mit offenen Gewichten und 65,4% Teilpunkten.

    Quelle ↗

Was DeepSeek aufgefallen ist

Die schwerste Stufe von ALE ist noch immer eine Mauer mit 0%: Jeder getestete Spitzenagent, auch Fable 5, scheitert auf dieser Stufe an jeder Aufgabe. Der insgesamt beste Agent besteht im ursprünglichen ALE nur 25,2%, bei Terminal-Bench dagegen 82%. Die Lücke bei Berufsarbeit ist viel größer als die bei der Programmierung.

ApprenticeBench ist der sauberste Vergleich von Kosten und Aufsicht: Fable 5.1 schlägt den besten menschlichen Tester 72 zu 51 bei einem echten Auftrag in der Kreditorenbuchhaltung, aber zu 18,23 $ pro Rechnung gegenüber 7,21 $ für den Menschen. Der Agent gewinnt bei der Qualität und verliert bei der Wirtschaftlichkeit pro Einheit.

Jedes Modell verletzt bei AutomationBench-AA Geschäftsregeln. Das sicherste Modell verstößt noch etwa einmal pro 15 erreichte Ziele gegen eine Leitplanke, das schlechteste einmal pro 0,8 Ziele. Bei der heutigen Verlässlichkeit ist menschliche Prüfung nicht optional.

🇨🇳 Qwen10 Plätze · 3 Hinweise

Dieselbe Frage, allein von Qwen beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    Claude Fable 5.2

    Führt SWE-bench Verified mit 95% an und die Pareto-Grenze für reale Arbeit bei Arena mit 11,32 $ pro Aufgabe.

    Quelle ↗
  2. 2
    GPT-6.2 Astra

    Führt Agents' Last Exam v1.1 mit 47,5% strikter Bestehensquote und 78,3% Bewertung bei 2,6 Millionen Ausgabe-Token an.

    Quelle ↗
  3. 3
    Qwen3.8 Max

    Erreicht bei OSWorld-Verified 86,1% und übertrifft damit die menschliche Vergleichsmarke bei offenen Computer-Aufgaben.

    Quelle ↗
  4. 4
    Claude Opus 5.5

    Erreicht bei SWE-bench Verified 97% (mit Mini-SWE-agent) und kostet auf Arenas Arbeits-Rangliste nur 8,06 $ pro Aufgabe.

    Quelle ↗
  5. 5
    Gemini 4 Neon

    Führt die unabhängige Rangliste AutomationBench-AA von Artificial Analysis mit 79,3% bei simulierten SaaS-Workflows an.

    Quelle ↗
  6. 6
    MiniMax M3.1 Flash

    Führt Zapiers offiziellen AutomationBench mit einer Abschlussquote von 62,2% bei mehrstufigen Geschäftsautomatisierungen an.

    Quelle ↗
  7. 7
    ERNIE 5.5 Flash Preview

    Erreicht bei Zapiers AutomationBench 61,9%, weil es App-übergreifende Unklarheiten bei CRM und Kalender effizient bearbeitet.

    Quelle ↗
  8. 8
    Devin (SWE-1.7 / SWE-2)

    Der autonome Software-Ingenieur von Cognition erreicht 81,5% bei Terminal-Bench 2.1 und 77,8% bei SWE-bench Multilingual.

    Quelle ↗
  9. 9
    Lindy.ai

    Der Baukasten für KI-Mitarbeiter ohne Programmierung kostet 29,99 bis 199,99 $ im Monat, spaltet die Nutzer aber zwischen 4,9 Sternen bei G2 und 1,7 bei Trustpilot.

  10. 10
    Relevance AI

    Setzt auf „KI-Fabriken“, in denen Betriebsteams selbstverbessernde Agenten-Belegschaften ohne Programmierung aufbauen.

    Quelle ↗

Was Qwen aufgefallen ist

Beim Agents' Last Exam bestanden gängige KI-Agenten zunächst nur 2,6% echter Berufsaufgaben. Die neueste Rangliste v1.1 zeigt aber, dass GPT-6.2 Astra eine strikte Bestehensquote von 47,5% erreicht.

Ranglisten für reale Arbeit wie die von Arena zeigen: Die leistungsstärksten Agenten (wie Claude Fable 5.2 mit 11,32 $ pro Aufgabe) sind pro abgeschlossener Aufgabe teurer als ältere Modelle (wie Claude Opus 5.5 mit 8,06 $).

Zapiers AutomationBench zeigt eine große Lücke zwischen offiziellen Werten des Anbieters (MiniMax mit 62,2%) und unabhängigen Bewertungen (Gemini 4 Neon mit 79,3% bei AutomationBench-AA). Wie ein Benchmark durchgeführt wird, zählt also genauso viel wie das Modell selbst.

🇨🇳 Qianwen10 Plätze

Dieselbe Frage, allein von Qianwen beantwortet. Die endgültige Liste oben vereint alle KIs.

  1. 1
    ChatGPT Work

    Höchste strikte Bestehensquote bei Agents' Last Exam mit integrierter Werkzeugausführung.

    Quelle ↗
  2. 2
    Claude Cowork

    Höchste Bewertung bei langfristigen Dokument-Workflows.

  3. 3
    Microsoft Copilot Studio

    Beste Unternehmensintegration mit M365 für geprüfte Geschäftsaufgaben.

  4. 4
    Gemini Agent

    Starke multimodale Leistung in App-übergreifenden Workflows.

  5. 5
    Codex

    Führend bei Codeerzeugung und Fehlersuche in beruflichen Entwicklungsaufgaben.

    Quelle ↗
  6. 6
    Manus

    Hohe Eigenständigkeit bei Rechercheaufgaben, braucht aber menschliche Prüfung.

  7. 7
    Cursor

    Optimiert für IDE-integriertes Programmieren mit geringer Latenz.

  8. 8
    WorkBuddy

    Kostengünstig für routinemäßige Büroautomatisierung mit mittlerer Genauigkeit.

  9. 9
    OpenClaw

    Open-Source-Alternative mit hoher Anpassbarkeit, aber niedrigeren Bestehensquoten.

    Quelle ↗
  10. 10
    Antigravity

    Spezialisiert auf Softwareentwicklung, bei Geschäfts-Workflows aber begrenzt.