Strikte Bestehensquote und bewertete Punktzahl erzählen verschiedene Geschichten. GPT-6.2 Astra besteht 47,5% der langen Aufgaben vollständig, erreicht im Schnitt aber 78,3%. Ein großer Teil seiner Arbeit erhält also Teilpunkte, ohne alle Prüfungen zu bestehen.
Die besten KI-Agenten für die Arbeit 2026: Top 10 nach echten Aufgabentests
Der beste Agent im Agents' Last Exam, GPT-6.2 Astra, besteht nur 47,5% von 122 langen Berufsaufgaben vollständig. Bei den Geschäftsabläufen von Zapier liegt der Großteil der Fehlschläge darin, dass der Agent Erfolg meldet, obwohl die Einträge falsch sind.
- Nr. 1: GPT-6.2 Astra (Codex)
- 10 Plätze
01Endgültige Liste
Die führenden KIs haben unabhängig voneinander jeweils eine eigene Liste mit zehn Plätzen erstellt. Hier steht ein leicht prüfbares Ergebnis: Jeder Platz hat einen Grund, eine Quelle und die Liste der KIs, die ihn aufgenommen haben.
Vergleichen Sie Abschlussquoten und bewertete Punktzahlen bei langen Berufsaufgaben, einschließlich Teilpunkten und strikter Bestehensquoten.
Ein helles Kennzeichen heißt: Diese KI hat den Eintrag auf ihre Liste gesetzt. Ein blasses: hat sie nicht.
- 1
GPT-6.2 Astra (Codex)
Es hat die beste strikte Bestehensquote im langen Test, 47,5%, in 29 Stunden, gegenüber 227 Stunden für Fable. Außerdem besteht es 52,4% der Geschäftsabläufe bei Zapier zu 0,83 $ pro Aufgabe.
Aufgenommen: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, Qwen. Nicht aufgenommen: Claude, DeepSeek, Qianwen.In ihren Listen: ChatGPT: 1 · Meta: 2 · Grok: 1 · Gemini: 1 · MiMo: 1 · Kimi: 5 · Qwen: 2
Was jede KI angemerkt hat 7
- ChatGPTPlatz 1
Strenge Bestehensquote 47,5% und Bewertung 78,3% bei 3,05 $ pro Aufgabe und rund 14 Minuten: Fast die Hälfte der Aufgaben scheitert weiterhin an der Alles-oder-nichts-Hürde.
Quelle ↗ - MetaPlatz 2
47,5% bestanden bei ALE v1.1, die bisher höchste strikte Quote, in 29 Stunden statt 227.
Quelle ↗ - GrokPlatz 1
Es schließt 47,5% von 122 langen Berufsaufgaben strikt ab, in 29 Stunden – einen Lauf, für den Fable 227 Stunden braucht.
- GeminiPlatz 1
Führt Agents' Last Exam v1.1 mit 47,5% Bestehensquote und 78,3% Teilpunkte-Wertung an, bei 2,6 Millionen Ausgabe-Token. Nutzer bemängeln allerdings weiterhin Überkomplizierung und ungeprüfte Behauptungen.
Quelle ↗ - MiMoPlatz 1
Das erste Modell, das je für seine Fähigkeit zur Selbstverbesserung als „High“ eingestuft wurde – und trotzdem das Modell, das Menschen als Letztes beaufsichtigen.
Quelle ↗ - KimiPlatz 5
Trägt die höchste selbst gemeldete Zahl für Berufsarbeit überhaupt – 77,6% bei ALE v1.1 –, doch das ist der eigene Lauf des Labors mit Bewertungsschema bei maximalem Aufwand, nicht die strikte Bestehensquote, nach der andere bewertet werden.
Quelle ↗ - QwenPlatz 2
Führt Agents' Last Exam v1.1 mit 47,5% strikter Bestehensquote und 78,3% Bewertung bei 2,6 Millionen Ausgabe-Token an.
Quelle ↗
7 KIs setzten es hierher - 2
Gemini 4 Carbon
Es liegt auf beiden Ranglisten vorn: 45,9% strikt im langen Test und 53,9% bei den Zapier-Abläufen. Die Teilpunktzahl von 77,4% verdeckt, dass es etwa 54 von 100 langen Aufgaben nicht besteht.
Aufgenommen: ChatGPT, Meta, Grok, Gemini, Claude, Kimi, DeepSeek. Nicht aufgenommen: MiMo, Qwen, Qianwen.In ihren Listen: ChatGPT: 9 · Meta: 4 · Grok: 2 · Gemini: 3 · Claude: 1 · Kimi: 3 · DeepSeek: 1
Was jede KI angemerkt hat 7
- ChatGPTPlatz 9
53,9% abgeschlossene Aufgaben liegen knapp hinter dem Spitzenreiter der nicht öffentlichen Rangliste, sind aber nicht direkt mit den professionellen Computer-Aufgaben von ALE vergleichbar.
Quelle ↗ - MetaPlatz 4
53,9% bei AutomationBench, das beste App-übergreifende Ergebnis, und 10,9% bei GDPx – zu einem Drittel der Opus-Kosten pro Aufgabe.
- GrokPlatz 2
Bewertung 77,4% im langen Test, und trotzdem scheitert es strikt an etwa 54 von 100 dieser Aufgaben.
- GeminiPlatz 3
Erzielt bei Agents' Last Exam v1.1 eine Bestehensquote von 45,9% und 77,4% Wertung. Starke Teilpunkte bei komplexen Workflows verbindet es mit deterministischen Prüfschritten.
Quelle ↗ - ClaudePlatz 1
Führt Agents' Last Exam v1.1 mit 45,9% strikter Bestehensquote und 77,4% Wertung an und besteht 53,9% der AutomationBench-Aufgaben zu je 2,12 $.
- KimiPlatz 3
Der Sieger des strengsten Workflow-Prüfers: 53,9% bei AutomationBench ist die höchste Bestehensquote, die Zapier über 657 echte Geschäftsaufgaben erfasst hat.
- DeepSeekPlatz 1
Führt ALE mit 45,9% strikter Bestehensquote und 77,4% Wertung an – scheitert aber auf der schwersten Stufe trotzdem in 100% der Fälle.
Quelle ↗
7 KIs setzten es hierher - 3
Claude Fable 5.2 (Claude Code)
Seine Bestehensquote von 46,9% im langen Test lässt 9 herabgestufte Aufgaben außen vor und dauerte 227 Stunden, der aufwendigste Lauf. Es besteht 51,4% der Zapier-Abläufe, aber zu 4,64 $ pro Aufgabe.
Aufgenommen: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Qwen. Nicht aufgenommen: Claude, Qianwen.In ihren Listen: ChatGPT: 6 · Meta: 3 · Grok: 7 · Gemini: 2 · MiMo: 2 · Kimi: 4 · DeepSeek: 2 · Qwen: 1
Was jede KI angemerkt hat 8
- ChatGPTPlatz 6
43,4% strikt bestanden, kostet 60,05 $ und dauert im gezeigten Lauf zwei Stunden pro Aufgabe: fast so viel wie die Quote des Spitzenreiters, aber beinahe das 20-Fache der Kosten.
Quelle ↗ - MetaPlatz 3
46,9% bei ALE v1.1 und Spitze des Intelligence Index, nach 227 Stunden Agentenzeit.
Quelle ↗ - GrokPlatz 7
Die Quote von 46,9% lässt 9 Aufgaben aus, und der Lauf dauerte trotzdem 227 Stunden und kostete 4,64 $ pro Workflow.
- GeminiPlatz 2
Erreicht bei Agents' Last Exam v1.1 eine Bestehensquote von 46,9% und 72,8% Wertung (Mittelwert ohne die 9 herabgestuften Aufgaben), verlangt aber sorgfältige Kosten- und Prüfdisziplin.
Quelle ↗ - MiMoPlatz 2
Preisgleichheit mit Astra bei etwa 8 $, und das Benchmark-Rennen wird jetzt durch Cent entschieden, nicht mehr durch Klugheit.
Quelle ↗ - KimiPlatz 4
Hat seinen Vorgänger in einer einzigen Veröffentlichung verdoppelt – von 22,4% auf 51,4% bei AutomationBench –, mit 96,9 Tool-Aufrufen pro Aufgabe und 9,01 $ pro tatsächlich bestandenem Durchlauf bei maximalem Aufwand.
- DeepSeekPlatz 2
Schließt 41,25% echter Freelance-Aufträge ab, mehr als doppelt so viel wie Opus 5.5 – bei mehr als 15,70 $ pro ALE-Aufgabe.
- QwenPlatz 1
Führt SWE-bench Verified mit 95% an und die Pareto-Grenze für reale Arbeit bei Arena mit 11,32 $ pro Aufgabe.
Quelle ↗
8 KIs setzten es hierher - 4
Gemini 4 Neon
Es führt die offizielle Ablauf-Rangliste von Zapier mit 56,3% zu 1,69 $ pro Aufgabe an. Im langen Berufstest hat es keinen Eintrag, es wird also nur auf einer Rangliste getestet.
Aufgenommen: ChatGPT, Grok, Gemini, Claude, Qwen. Nicht aufgenommen: Meta, MiMo, Kimi, DeepSeek, Qianwen.In ihren Listen: ChatGPT: 2 · Grok: 4 · Gemini: 4 · Claude: 5 · Qwen: 5
Was jede KI angemerkt hat 5
- ChatGPTPlatz 2
56,3% strikt abgeschlossen im nicht öffentlichen Workflow-Satz von Zapier – damit liegt es an der Spitze der aktuellen Modellliste. Eine Aufgabe zählt aber nur, wenn der Endzustand jeder App stimmt.
Quelle ↗ - GrokPlatz 4
Es schließt 56,32% der nicht öffentlichen Workflows von Zapier für 1,69 $ ab, und der lange Berufstest führt es nicht auf.
- GeminiPlatz 4
Führt AutomationBench-AA mit 79,3% an, mit 94% erreichter Ziele in App-übergreifenden Geschäfts-Workflows, verlangt bei folgenreichen Aktionen aber weiterhin Leitplanken und menschliche Prüfungen.
Quelle ↗ - ClaudePlatz 5
Es führt AutomationBench mit 56,3% bei 1,69 $ pro Aufgabe an – pro Aufgabe günstiger als Carbon.
Quelle ↗ - QwenPlatz 5
Führt die unabhängige Rangliste AutomationBench-AA von Artificial Analysis mit 79,3% bei simulierten SaaS-Workflows an.
Quelle ↗
5 KIs setzten es hierher - 5
Qwen 4 (Codex harness)
Es besteht 46,7% des langen Tests, einen Zehntelpunkt hinter Fable, braucht dafür aber 185 Stunden. Ein externes Team hat es laufen lassen, und Angaben zu Abläufen oder Kosten sind nicht veröffentlicht.
Aufgenommen: Meta, Grok, Gemini. Nicht aufgenommen: ChatGPT, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen.In ihren Listen: Meta: 8 · Grok: 5 · Gemini: 5
Was jede KI angemerkt hat 3
- MetaPlatz 8
46,7% bei ALE v1.1, Platz drei direkt hinter der Spitze, mit deutlich weniger veröffentlichten Kosten- und Aufsichtsbelegen.
Quelle ↗ - GrokPlatz 5
Strikte Quote 46,7%, einen Zehntelpunkt hinter Fables Hauptwert, nach 185 Stunden.
Quelle ↗ - GeminiPlatz 5
Spielt bei Agents' Last Exam v1.1 in der Spitzengruppe mit, neben Qwen 4 mit 46,7% Bestehensquote und 74,4% Wertung bei überprüfbaren Berufs-Workflows.
Quelle ↗
3 KIs setzten es hierher - 6
Kimi 3.1 Pro (Kimi Code)
Es erreicht die 43,4% im langen Test von Opus 5.5, und zwar in 61 statt 177 Stunden, mit 8,5 Mio. Ausgabe-Token gegenüber 21,5 Mio. Unter den Spitzenreitern ist es die effizienteste Wahl.
Aufgenommen: ChatGPT, Grok, Gemini, Claude, DeepSeek. Nicht aufgenommen: Meta, MiMo, Kimi, Qwen, Qianwen.In ihren Listen: ChatGPT: 7 · Grok: 3 · Gemini: 6 · Claude: 4 · DeepSeek: 5
Was jede KI angemerkt hat 5
- ChatGPTPlatz 7
43,4% strikt bestanden bei 7 $ pro Aufgabe und rund 30 Minuten – derselbe Anteil wie teurere Spitzenläufe in dieser Rangliste.
Quelle ↗ - GrokPlatz 3
Dieselbe strikte Quote von 43,4% wie Opus, in etwa einem Drittel der Stunden und mit 8,5 Millionen Token statt 21,5 Millionen.
Quelle ↗ - GeminiPlatz 6
Erzielt mit dem Kimi-Code-Harness eine Spitzen-Bestehensquote von 43,4% und 74,4% Wertung bei 8,5 Millionen Ausgabe-Token – deutlich weniger als die 21,5 Millionen von Claude Opus 5.5.
Quelle ↗ - ClaudePlatz 4
Ein Modell aus der Familie der offenen Gewichte liegt bei ALE v1.1 mit 43,4% gleichauf mit Opus 5.5, während sein Geschwistermodell Kimi K3 bei AutomationBench mit 22,7% auf Platz 12 steht.
Quelle ↗ - DeepSeekPlatz 5
43,4% ALE-Bestehensquote in 61 Stunden – schneller als Opus 5.5 und Fable 5.2 bei ähnlichen Ergebnissen.
Quelle ↗
5 KIs setzten es hierher - 7
Gemini 4 Hydrogen (Antigravity CLI)
Es ist die Preis-Leistungs-Wahl: 51,1% der Zapier-Abläufe zu 0,82 $ pro Aufgabe und immer noch 30,6% zu 0,18 $. Außerdem besteht es 43,4% des langen Tests.
Aufgenommen: Grok, Kimi. Nicht aufgenommen: ChatGPT, Meta, Gemini, Claude, MiMo, DeepSeek, Qwen, Qianwen.In ihren Listen: Grok: 9 · Kimi: 6
Was jede KI angemerkt hat 2
- GrokPlatz 9
Geschäfts-Workflows kosten 0,82 $ bei einer strikten Quote von 51,14%, während der lange Test 25,5 Millionen Token verbraucht, um 43,4% zu erreichen.
- KimiPlatz 6
Die Preis-Leistungs-Spitze: 51,1% bei AutomationBench für 0,82 $ pro Aufgabe – und bei niedrigem Aufwand besteht es noch 30,6% für 0,18 $. Nichts Getestetes ist zugleich günstiger und genauer.
2 KIs setzten es hierher - 8
Claude Opus 5.5 (Claude Code)
Es besteht 43,4% des langen Tests nach 177 Stunden und 21,5 Mio. Token sowie 42,5% der Zapier-Abläufe zu 1,44 $. Seine 38,2% auf der älteren Rangliste stammen aus einem anderen Aufgabenset.
Aufgenommen: ChatGPT, Meta, Grok, Claude, Kimi, DeepSeek, Qwen. Nicht aufgenommen: Gemini, MiMo, Qianwen.In ihren Listen: ChatGPT: 10 · Meta: 1 · Grok: 8 · Claude: 2 · Kimi: 1 · DeepSeek: 4 · Qwen: 4
Was jede KI angemerkt hat 7
- ChatGPTPlatz 10
50,3% im öffentlichen Satz von Zapier mit 600 Aufgaben. Zapier warnt, dass die offiziellen nicht öffentlichen Werte abweichen können.
Quelle ↗ - MetaPlatz 1
Führt den härtesten Berufstest mit 12% an, scheitert aber trotzdem an 88% – bei 51,41 $ pro Aufgabe.
Quelle ↗ - GrokPlatz 8
Strikte Quote 43,4% und Bewertung 71,6% nach 177 Stunden und 21,5 Millionen Ausgabe-Token.
Quelle ↗ - ClaudePlatz 2
Es teilt sich bei ALE v1.1 mit 43,4% den zweiten Platz, doch bei AutomationBench erreicht es 29,5% bei 0,65 $ pro Aufgabe auf mittlerer Stufe und 42,5% auf der höchsten Stufe – je nach Einstellung eine große Spanne.
Quelle ↗ - KimiPlatz 1
Führt den strengsten Berufstest an (38,2% Bestehensquote, 63,2% Wertung bei Agents' Last Exam) sowie GDPval-AA (68,3%) – für 1.340 $ und 183 Stunden Rechenzeit.
Quelle ↗ - DeepSeekPlatz 4
Am besten bei DAYJOBs Berufsaufgaben von 13 bis 17 Stunden im Gesundheitswesen mit 24,7% – aber 177 Stunden bei ALE.
Quelle ↗ - QwenPlatz 4
Erreicht bei SWE-bench Verified 97% (mit Mini-SWE-agent) und kostet auf Arenas Arbeits-Rangliste nur 8,06 $ pro Aufgabe.
Quelle ↗
7 KIs setzten es hierher - 9
GPT-6.2 Sol (Codex)
Es verliert gegenüber Astra etwa sechs Punkte, besteht 41,8% des langen Tests und ist trotzdem in 32 Stunden mit 3,1 Mio. Token fertig. Eine Punktzahl auf der Ablauf-Rangliste ist nicht veröffentlicht.
Aufgenommen: Grok, MiMo. Nicht aufgenommen: ChatGPT, Meta, Gemini, Claude, Kimi, DeepSeek, Qwen, Qianwen.In ihren Listen: Grok: 6 · MiMo: 3
Was jede KI angemerkt hat 2
2 KIs setzten es hierher - 10
Gemini 4 Argon
Es besteht 51,3% der Zapier-Abläufe zu einem Listenpreis von 1,70 $, aber nur 40,2% des langen Tests. Im Oktober führte es die Ablauf-Rangliste an, bevor Neon es überholte.
Aufgenommen: Meta, Grok, Claude, DeepSeek. Nicht aufgenommen: ChatGPT, Gemini, MiMo, Kimi, Qwen, Qianwen.In ihren Listen: Meta: 5 · Grok: 10 · Claude: 8 · DeepSeek: 6
Was jede KI angemerkt hat 4
- MetaPlatz 5
51,3% bei AutomationBench, 337 von 657 Workflows, für 1,70 $ pro Aufgabe.
- GrokPlatz 10
Der Listenpreis liegt bei 1,70 $ pro Workflow für eine strikte Quote von 51,29%, und die Bestehensquote im langen Test beträgt 40,2%.
- ClaudePlatz 8
Es erreicht 40,2% bei ALE v1.1 und steht außerdem in einer erneut ausgeführten Momentaufnahme von AutomationBench 1.0.6 mit 51,3% an der Spitze.
Quelle ↗ - DeepSeekPlatz 6
51,3% strikte Bestehensquote bei AutomationBench, 1,70 $ pro Aufgabe – der beste App-übergreifende Workflow-Agent.
Quelle ↗
4 KIs setzten es hierher
02Wissenswert
Was den KIs beim Erstellen der Liste aufgefallen ist.
Fehlschläge sehen wie Erfolge aus: Zapier meldet, dass der Agent Erfolg behauptete, obwohl die Einträge in 91% der Gemini-Fehlschläge, 84% der GPT-5.4-Fehlschläge und 72% der Opus-Fehlschläge falsch waren.
Eine ähnliche Bestehensquote kann einen Tag oder eine Woche Maschinenzeit kosten. Die 47,5% von Astra brauchten 29 Stunden, während die 46,9% von Fable 5.2, bei einem Satz mit 9 fehlenden Aufgaben, 227 Stunden brauchten.
Jedes Modell, das im AutomationBench-AA getestet wurde, verletzte Geschäftsregeln, und zwar mit 0,46 bis 1,26 Verstößen pro Aufgabe. Menschliche Prüfung ist daher nicht optional.
Epoch AI bewertete Agents' Last Exam v1.1 als fehlerhaft: In einer Stichprobe konnten 22 von 50 Aufgaben volle Punkte geben, ohne dass die vorgesehene Arbeit erledigt war. Behandeln Sie die Werte als Beleg, nicht als Garantie für Zuverlässigkeit.
03So haben wir gezählt
In einfachen Worten, ohne Formeln.
1Die Frage
Top 10 der KI-Agenten für die Berufsarbeit: Leistung bei Aufgaben, Kosten und menschliche Aufsicht
2Warum dieses Thema
Sie sehen gemessene Leistung bei Aufgaben neben Kosten, Laufzeit und dem Bedarf an menschlicher Prüfung. Diese Abwägungen erfasst kein einzelner Test.
3Wofür es gilt
Globale KI-Agentensysteme, im Fokus auf lange und überprüfbare Berufsabläufe
4Worauf wir geachtet haben
- Vergleichen Sie Abschlussquoten und bewertete Punktzahlen bei langen Berufsaufgaben, einschließlich Teilpunkten und strikter Bestehensquoten.
- Stellen Sie Leistung gegen Kosten, Laufzeit und die menschliche Prüfung, Korrektur oder Übernahme, die nötig ist, um dem Ergebnis zu vertrauen.
- Agents' Last Exam v1.1 (UC Berkeley RDI, RDI Foundation, Snorkel AI) — Strikte Bestehensquote und bewertete Punktzahl mit Teilpunkten bei 122 öffentlichen langen Aufgaben aus 55 Teilbranchen, mit Laufzeit und Ausgabe
- Zapier AutomationBench 1.0.6 — Strikt vollständige Abschlüsse branchenübergreifender Geschäftsabläufe über Apps auf einem privaten Testsatz (47 simulierte Apps, sechs Funktionen), mit Kosten pro Aufgabe. Jede Prüfung muss bestanden werden.
- Artificial Analysis AutomationBench-AA — Unabhängige Wiederholung auf Zapiers 657 privaten Aufgaben: zielgerichteter Abschluss unter Einhaltung der Regeln (Teilpunkte) plus strikte Bestehensquote. Jedes Modell verletzt Geschäftsregeln, mit
- Epoch AI-Prüfung von Agents' Last Exam — Prüfung des Tests selbst: In einer Stichprobe erlaubten 22 von 50 Aufgaben volle Punkte ohne die vorgesehene Arbeit.
5Wer gerankt hat
Die führenden KIs: ChatGPT, Meta, Grok, Gemini, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen. Jede hat unabhängig ihre eigene Zehnerliste erstellt und für jeden Platz eine Quelle genannt.
6Wie die Plätze festgelegt wurden
Derselbe Eintrag, von verschiedenen KIs unterschiedlich formuliert, wurde als einer gezählt. Je mehr KIs einen Eintrag auf ihre Liste setzten und je höher, desto höher sein Platz. „Einigkeit der KIs“ zeigt, wie viele KIs ihn auf ihrer eigenen Liste hatten. Quellen sind nur die, die die KIs selbst gefunden haben; nichts wurde von Hand ergänzt.
04Die Liste jeder KI
🇺🇸 ChatGPT10 Plätze · 4 Hinweise
Dieselbe Frage, allein von ChatGPT beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1GPT-6.2 Astra — Agents' Last Exam v1.1
Strenge Bestehensquote 47,5% und Bewertung 78,3% bei 3,05 $ pro Aufgabe und rund 14 Minuten: Fast die Hälfte der Aufgaben scheitert weiterhin an der Alles-oder-nichts-Hürde.
Quelle ↗ - 2Gemini 4 Neon — AutomationBench (Zapier)
56,3% strikt abgeschlossen im nicht öffentlichen Workflow-Satz von Zapier – damit liegt es an der Spitze der aktuellen Modellliste. Eine Aufgabe zählt aber nur, wenn der Endzustand jeder App stimmt.
Quelle ↗ - 3GPT-6.2 Astra — AutomationBench (Zapier)
52,4% strikt bestandene Workflows in derselben nicht öffentlichen Rangliste; das ALE-Ergebnis von 3,05 $ pro Aufgabe ist ein zweiter, nicht vergleichbarer Datenpunkt.
Quelle ↗ - 4GPT-6.2 Astra — AutomationBench-AA
Artificial Analysis bewertet 657 von Zapier entworfene Aufgaben und 22.822 Prüfpunkte. Dabei werden teilweise erreichte Ziele neben den strikten Bestehensquoten ausgewiesen, statt jede Aufgabe auf ein schlichtes Bestanden oder Nicht-Bestanden zu reduzieren.
Quelle ↗ - 5GPT-6.2 Astra — Remote Labor Index
Schneidet bei simulierten Workflow-Tests gut ab. Der von Experten bewertete Freelance-Projekt-Benchmark von Scale AI bietet aber eine nötige Gegenprobe zu sauberen Testumgebungen.
Quelle ↗ - 6Claude Fable 5.2 Max — Agents' Last Exam v1.1
43,4% strikt bestanden, kostet 60,05 $ und dauert im gezeigten Lauf zwei Stunden pro Aufgabe: fast so viel wie die Quote des Spitzenreiters, aber beinahe das 20-Fache der Kosten.
Quelle ↗ - 7Kimi K3.1 Pro Max — Agents' Last Exam v1.1
43,4% strikt bestanden bei 7 $ pro Aufgabe und rund 30 Minuten – derselbe Anteil wie teurere Spitzenläufe in dieser Rangliste.
Quelle ↗ - 8Claude Opus 5.5 Max — Agents' Last Exam v1.1
43,4% strikt bestanden bei 17,57 $ pro Aufgabe und 87 Minuten – unter der Quote des besten Laufs, bei deutlich höheren angegebenen Kosten.
Quelle ↗ - 9Gemini 4 Carbon — AutomationBench (Zapier)
53,9% abgeschlossene Aufgaben liegen knapp hinter dem Spitzenreiter der nicht öffentlichen Rangliste, sind aber nicht direkt mit den professionellen Computer-Aufgaben von ALE vergleichbar.
Quelle ↗ - 10Claude Opus 5 — AutomationBench public benchmark
50,3% im öffentlichen Satz von Zapier mit 600 Aufgaben. Zapier warnt, dass die offiziellen nicht öffentlichen Werte abweichen können.
Quelle ↗
Was ChatGPT aufgefallen ist
Strikte Bestehensquote und Bewertung erzählen verschiedene Geschichten: Für den ALE-Lauf von GPT-6.2 Astra werden 47,5% vollständig bestanden und 78,3% im Durchschnitt angegeben. Viele Läufe haben also Teilpunkte bekommen, ohne jede Anforderung des Bewertungsschemas zu erfüllen.
Bei AutomationBench lag die höchste gezeigte Quote im nicht öffentlichen Satz bei 56,3%, während Zapiers öffentliches Repository für sein bestes gelistetes Modell im öffentlichen Satz 50,3% angibt. Getrennte Sätze erklären, warum diese Zahlen nicht zusammengefasst werden sollten.
Kostenrangen können die scheinbare Leistung umkehren: Ein ALE-Lauf für Claude Fable 5.2 Max kostete 60,05 $ und dauerte zwei Stunden für 43,4% strikt bestanden, gegenüber 47,5% bei GPT-6.2 Astra für 3,05 $ und rund 14 Minuten.
Eine Prüfung des Benchmarks fand gravierende Schwächen bei der Bewertung in einer Stichprobe von ALE-Aufgaben: Epoch AI nannte 22 von 50 Stichprobenaufgaben, die volle Punkte ohne die vorgesehene Arbeit erlaubten. Das ist ein Grund, Ranglisten als Belege zu lesen, nicht als Garantie für Zuverlässigkeit im Arbeitsalltag.
🇺🇸 Meta10 Plätze · 3 Hinweise
Dieselbe Frage, allein von Meta beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Claude Opus 5.5 (Max) – Claude Code
Führt den härtesten Berufstest mit 12% an, scheitert aber trotzdem an 88% – bei 51,41 $ pro Aufgabe.
Quelle ↗ - 2GPT-6.2 Astra (Max) – Codex
47,5% bestanden bei ALE v1.1, die bisher höchste strikte Quote, in 29 Stunden statt 227.
Quelle ↗ - 3Claude Fable 5.2 (Max) – Claude Code
46,9% bei ALE v1.1 und Spitze des Intelligence Index, nach 227 Stunden Agentenzeit.
Quelle ↗ - 4Gemini 4 Carbon (High)
53,9% bei AutomationBench, das beste App-übergreifende Ergebnis, und 10,9% bei GDPx – zu einem Drittel der Opus-Kosten pro Aufgabe.
- 5Gemini 4 Argon (High)
51,3% bei AutomationBench, 337 von 657 Workflows, für 1,70 $ pro Aufgabe.
- 6GPT-6 Astra (Max) – Codex
9,6% bei GDPx und 41,4% bei AutomationBench: stark, aber bei beiden einen Schritt unter seinem Nachfolger 6.2.
Quelle ↗ - 7Claude Sonnet 5.5 (Max)
44,7% bei AutomationBench, das praktische Claude für routinemäßige App-übergreifende Arbeit, bei 1,14 $ pro Aufgabe.
- 8Qwen 4
46,7% bei ALE v1.1, Platz drei direkt hinter der Spitze, mit deutlich weniger veröffentlichten Kosten- und Aufsichtsbelegen.
Quelle ↗ - 9GPT-6.1 Terra (Max)
60,0% bewertet bei ALE, 1,01 $ pro Aufgabe – neunmal günstiger als Opus 5.5 bei fünf Punkten weniger.
Quelle ↗ - 10GitHub Copilot Fusion (Max)
71,2% bei Terminal-Bench, das höchste Terminal-Ergebnis, aber Terminal-Aufgaben sind keine allgemeine Berufsarbeit.
Quelle ↗
Was Meta aufgefallen ist
Der beste Agent bei GDPx scheitert noch an 88% der Expertenaufgaben, und in den frühen Berichten zu diesem Benchmark erzielte jedes Modell bei Finanzen und Recht null Punkte.
Die Kosten drehen die Rangfolge um: Fable 5.2 brauchte bei ALE v1.1 227 Stunden, GPT-6.2 Astra dagegen 29 Stunden für eine höhere Quote.
Der Zeithorizont von METR verdoppelt sich seit 2023 etwa alle 130 Tage. Doch der Zeithorizont mit 80% Verlässlichkeit ist weit kürzer als der mit 50%. Verlässliche lange Arbeit hinkt deshalb den Schlagzeilen über lange Arbeit hinterher.
🇺🇸 Grok10 Plätze · 3 Hinweise
Dieselbe Frage, allein von Grok beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1GPT-6.2 Astra
Es schließt 47,5% von 122 langen Berufsaufgaben strikt ab, in 29 Stunden – einen Lauf, für den Fable 227 Stunden braucht.
- 2Gemini 4 Carbon
Bewertung 77,4% im langen Test, und trotzdem scheitert es strikt an etwa 54 von 100 dieser Aufgaben.
- 3Kimi 3.1 Pro
Dieselbe strikte Quote von 43,4% wie Opus, in etwa einem Drittel der Stunden und mit 8,5 Millionen Token statt 21,5 Millionen.
Quelle ↗ - 4Gemini 4 Neon
Es schließt 56,32% der nicht öffentlichen Workflows von Zapier für 1,69 $ ab, und der lange Berufstest führt es nicht auf.
- 5Qwen 4
Strikte Quote 46,7%, einen Zehntelpunkt hinter Fables Hauptwert, nach 185 Stunden.
Quelle ↗ - 6GPT-6.2 Sol
Es liegt sechs Punkte bei der Bestehensquote hinter Astra zurück und schafft den langen Test trotzdem in 32 Stunden.
Quelle ↗ - 7Claude Fable 5.2
Die Quote von 46,9% lässt 9 Aufgaben aus, und der Lauf dauerte trotzdem 227 Stunden und kostete 4,64 $ pro Workflow.
- 8Claude Opus 5.5
Strikte Quote 43,4% und Bewertung 71,6% nach 177 Stunden und 21,5 Millionen Ausgabe-Token.
Quelle ↗ - 9Gemini 4 Hydrogen
Geschäfts-Workflows kosten 0,82 $ bei einer strikten Quote von 51,14%, während der lange Test 25,5 Millionen Token verbraucht, um 43,4% zu erreichen.
- 10Gemini 4 Argon
Der Listenpreis liegt bei 1,70 $ pro Workflow für eine strikte Quote von 51,29%, und die Bestehensquote im langen Test beträgt 40,2%.
Was Grok aufgefallen ist
Die beste strikte Quote im langen Berufstest verfehlt trotzdem die meisten Aufgaben: GPT-6.2 Astra besteht 47,5% von 122 Aufgaben, sodass ein Mensch den Rest abschließen oder verwerfen muss.
Eine ähnliche Bestehensquote im langen Test kann eine Woche Rechenzeit kosten oder einen Tag. Astras 47,5% brauchten 29 Stunden und 2,6 Millionen Ausgabe-Token; Fable 5.2 mit 46,9% in einem Satz, der 9 Aufgaben weglässt, brauchte 227 Stunden und 28,2 Millionen.
Im Juni berichtete Berkeley, dass jeder Spitzenagent, den es testete, einschließlich Fable 5, in der schwersten Stufe 0% erzielte; das beste Gesamtergebnis lag bei etwa 26%. Die Oktober-Rangliste ist ein anderer, kleinerer öffentlicher Satz.
🇺🇸 Gemini10 Plätze · 3 Hinweise
Dieselbe Frage, allein von Gemini beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Codex + GPT-6.2 Astra
Führt Agents' Last Exam v1.1 mit 47,5% Bestehensquote und 78,3% Teilpunkte-Wertung an, bei 2,6 Millionen Ausgabe-Token. Nutzer bemängeln allerdings weiterhin Überkomplizierung und ungeprüfte Behauptungen.
Quelle ↗ - 2Claude Code + Fable 5.2
Erreicht bei Agents' Last Exam v1.1 eine Bestehensquote von 46,9% und 72,8% Wertung (Mittelwert ohne die 9 herabgestuften Aufgaben), verlangt aber sorgfältige Kosten- und Prüfdisziplin.
Quelle ↗ - 3ALE-Claw + Gemini 4 Carbon
Erzielt bei Agents' Last Exam v1.1 eine Bestehensquote von 45,9% und 77,4% Wertung. Starke Teilpunkte bei komplexen Workflows verbindet es mit deterministischen Prüfschritten.
Quelle ↗ - 4Gemini 4 Neon (Xhigh)
Führt AutomationBench-AA mit 79,3% an, mit 94% erreichter Ziele in App-übergreifenden Geschäfts-Workflows, verlangt bei folgenreichen Aktionen aber weiterhin Leitplanken und menschliche Prüfungen.
Quelle ↗ - 5Codex + Qwen4-Max
Spielt bei Agents' Last Exam v1.1 in der Spitzengruppe mit, neben Qwen 4 mit 46,7% Bestehensquote und 74,4% Wertung bei überprüfbaren Berufs-Workflows.
Quelle ↗ - 6Kimi Code + Kimi 3.1 Pro
Erzielt mit dem Kimi-Code-Harness eine Spitzen-Bestehensquote von 43,4% und 74,4% Wertung bei 8,5 Millionen Ausgabe-Token – deutlich weniger als die 21,5 Millionen von Claude Opus 5.5.
Quelle ↗ - 7Claude Opus 5
Führt die öffentliche AutomationBench-Bewertung für SaaS-Aufgaben über mehrere Bereiche an: 50,3% Bestehensquote bei maximalem Aufwand in Vertrieb, Marketing, Betrieb, Support, Finanzen und Personal.
Quelle ↗ - 8Antigravity CLI
Erreicht bei Agents' Last Exam v1.1 eine Spitzen-Bestehensquote von 43,4% und zeigt damit eine konkurrenzfähige Steuerung des Agenten-Harness bei mehrstufigen Aufgaben.
Quelle ↗ - 9Muse Code
Verzeichnet bei Agents' Last Exam v1.1 eine Spitzen-Bestehensquote von 38,5%, liegt bei der strikten vollständigen Erledigung hinter den besten Harnesses und braucht bei Grenzfällen menschliche Prüfung.
Quelle ↗ - 10OpenClaw
Erzielt bei Agents' Last Exam v1.1 eine Spitzen-Bestehensquote von 36,1%. Die Automatisierung ist nützlich, lässt aber viel Raum für menschliche Prüfung und Korrektur.
Quelle ↗
Was Gemini aufgefallen ist
Selbst die Spitzenquote bei Agents' Last Exam v1.1 (47,5%) lässt mehr als die Hälfte der 122 Aufgaben ungelöst, während schwerere Stufen bisher im Schnitt unter 1% vollständige Bestehensquoten hatten.
Token-Kosten und Laufzeit unterscheiden sich je nach Modell und Harness stark. Kimi 3.1 Pro erreicht zum Beispiel 74,4% Wertung mit 8,5 Millionen Ausgabe-Token, Opus 5.5 braucht dafür 21,5 Millionen. Schlanke Harnesses können die Kosten um 41% senken, ohne die Qualität stark zu mindern.
Der Bericht von Zapier vom November 2026 zeigt: 45% der Führungskräfte beschränken die menschliche Aufsicht über KI auf folgenreiche Arbeit – oder verzichten ganz darauf –, obwohl Agenten weiterhin Fehler machen, die menschliche Prüfung brauchen.
🇺🇸 Claude10 Plätze · 4 Hinweise
Dieselbe Frage, allein von Claude beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Gemini 4 Carbon (Google)
Führt Agents' Last Exam v1.1 mit 45,9% strikter Bestehensquote und 77,4% Wertung an und besteht 53,9% der AutomationBench-Aufgaben zu je 2,12 $.
- 2Claude Opus 5.5 (Anthropic)
Es teilt sich bei ALE v1.1 mit 43,4% den zweiten Platz, doch bei AutomationBench erreicht es 29,5% bei 0,65 $ pro Aufgabe auf mittlerer Stufe und 42,5% auf der höchsten Stufe – je nach Einstellung eine große Spanne.
Quelle ↗ - 3GPT-6 Astra (OpenAI)
Es erreicht 42,6% bei ALE v1.1, und bei AutomationBench reicht es von 30,3% bei niedrigem Aufwand (1,08 $ pro Aufgabe) bis 41,4% bei maximalem Aufwand.
Quelle ↗ - 4Kimi 3.1 Pro / K3.1 (Moonshot)
Ein Modell aus der Familie der offenen Gewichte liegt bei ALE v1.1 mit 43,4% gleichauf mit Opus 5.5, während sein Geschwistermodell Kimi K3 bei AutomationBench mit 22,7% auf Platz 12 steht.
Quelle ↗ - 5Gemini 4 Neon (Google)
Es führt AutomationBench mit 56,3% bei 1,69 $ pro Aufgabe an – pro Aufgabe günstiger als Carbon.
Quelle ↗ - 6GPT-5.5 with Codex (OpenAI)
Es lag beim ursprünglichen Agents' Last Exam mit 24,0% strikter Bestehensquote vorn, und Codex wird in späteren Berichten mit 26% genannt.
Quelle ↗ - 7Claude Fable 5 with Claude Code (Anthropic)
Es wurde beim ursprünglichen ALE mit 22,0% Dritter, hinter zwei GPT-5.5-Konfigurationen.
Quelle ↗ - 8Gemini 4 Argon (Google)
Es erreicht 40,2% bei ALE v1.1 und steht außerdem in einer erneut ausgeführten Momentaufnahme von AutomationBench 1.0.6 mit 51,3% an der Spitze.
Quelle ↗ - 9Claude Sonnet 5.5 (Anthropic)
Ein Aggregator führt es bei ALE v1.1 mit 60,4% auf, aber die Spalte sieht eher nach Wertung als nach Bestehensquote aus.
Quelle ↗ - 10Muse Wonder 1.0
Es folgt bei ALE v1.1 mit 38,5% Bestehensquote auf die Spitzengruppe.
Quelle ↗
Was Claude aufgefallen ist
Dieselbe Agenten-Familie kann bei AutomationBench je nach Aufwandseinstellung etwa 30% oder 42% erreichen. Die Einstellung zählt also genauso viel wie das Modell.
Beim ersten Agents' Last Exam lag die durchschnittliche strikte Bestehensquote auf der schwersten Stufe bei 2,6%, und die meisten Modelle, darunter GPT-5.5 und Fable 5, erzielten null.
Strikte Bestehensquote gegenüber Bewertung zeigt, wie viel Teilpunkte verbergen: Gemini 4 Carbon besteht 45,9% der ALE-v1.1-Aufgaben vollständig, erreicht im Schnitt aber 77,4%.
Ein berichteter Test von KPMG mit mehr als 100 Agenten bei einer laufenden Prüfung brauchte trotzdem eine menschliche Korrektur – ein Gegenstück aus der Praxis zu diesen Benchmark-Werten.
🇨🇳 MiMo10 Plätze · 4 Hinweise
Dieselbe Frage, allein von MiMo beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1GPT-6.2 Astra (OpenAI, 2026)
Das erste Modell, das je für seine Fähigkeit zur Selbstverbesserung als „High“ eingestuft wurde – und trotzdem das Modell, das Menschen als Letztes beaufsichtigen.
Quelle ↗ - 2Claude Fable 5.2 (Anthropic, 2026)
Preisgleichheit mit Astra bei etwa 8 $, und das Benchmark-Rennen wird jetzt durch Cent entschieden, nicht mehr durch Klugheit.
Quelle ↗ - 3GPT-6.2 Sol (OpenAI, 2026)
Kommt bei echten Codebasen fast an das Spitzenmodell heran, zu einem Fünftel der Kosten – das Preis-Leistungs-Schnäppchen des Starts.
Quelle ↗ - 4EY multi-agent audit framework (EY Canvas)
Der Gewinner ist die unspektakulärste Art von Agent: eingebaut in die Software, die Prüfer ohnehin nutzen.
Quelle ↗ - 5KPMG audit agent swarm (Project Exponential)
Mehr als 100 Agenten in jeder Prüfphase – und eine menschliche Korrektur ist der wertvollste Datenpunkt der Branche.
Quelle ↗ - 6KPMG Clara Intelligence agents (US)
Gesteuerte Agenten mit „human-assured“ im Produktnamen – Aufsicht als Werbeargument.
Quelle ↗ - 7PwC AI Agent Operating System
Eine Orchestrierungsschicht statt eines Agenten – die Infrastruktur, in die andere überprüfbare Agenten einstecken werden.
Quelle ↗ - 8AutomationBench agent harness (Zapier, benchmark)
47 echte Werkzeuge und bewusst mehrdeutige Aufgaben – am ehesten eine Generalprobe für Büroarbeit.
- 9Agents' Last Exam harness (UC Berkeley RDI)
Der einzige öffentliche Test, der ganze, mehrtägige Berufsaufträge mit verborgenen Lösungen bewertet statt einzelner Fragen.
- 10KPMG Ignite Financial Assistant (Workday/Google Cloud)
Assistent für den Monatsabschluss – eng begrenzt, überprüfbar und näher an echter Finanzarbeit als die meisten Demos.
Quelle ↗
Was MiMo aufgefallen ist
Das neue Rennen dreht sich um Kosten pro fertiger Aufgabe, nicht um Cleverness: Astra kostet pro Aufgabe weniger als ein Drittel seines Vorgängers, und Sol kommt bei echten Codebasen an das Spitzenmodell heran, zu einem Fünftel des Preises.
Die für die Sicherheit wichtigste Zahl beim Start ist keine Punktzahl, sondern eine Einstufung: Astra ist das erste Modell, das bei der Selbstverbesserung als „High“ eingestuft wurde.
Benchmarks und Wirklichkeit weichen voneinander ab: Agents' Last Exam und AutomationBench bewerten simulierte Aufgaben, während der einzige vollständige Live-Berufstest (KPMG) eine menschliche Korrektur brauchte.
Eine unabhängige Rangliste (AutomationBench-AA) gibt es genau deshalb, weil der Schöpfer des Benchmarks selbst auch Agenten verkauft – ein Steuerungsmodell, das andere Labore kopieren.
🇨🇳 Kimi10 Plätze · 3 Hinweise
Dieselbe Frage, allein von Kimi beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Claude Opus 5.5 (Claude Code)
Führt den strengsten Berufstest an (38,2% Bestehensquote, 63,2% Wertung bei Agents' Last Exam) sowie GDPval-AA (68,3%) – für 1.340 $ und 183 Stunden Rechenzeit.
Quelle ↗ - 2GPT-6 Astra (Codex harness)
Zweiter bei Agents' Last Exam (34,2%) mit der besten Computer-Nutzungs-Wertung der Klasse (72,6% OSWorld 2.0, etwa 40 Min. pro Aufgabe) – und halb so hohe Programmierkosten pro Aufgabe wie Claude bei gleichem Indexwert.
Quelle ↗ - 3Gemini 4 Carbon
Der Sieger des strengsten Workflow-Prüfers: 53,9% bei AutomationBench ist die höchste Bestehensquote, die Zapier über 657 echte Geschäftsaufgaben erfasst hat.
- 4Claude Fable 5.2 (with default fallbacks)
Hat seinen Vorgänger in einer einzigen Veröffentlichung verdoppelt – von 22,4% auf 51,4% bei AutomationBench –, mit 96,9 Tool-Aufrufen pro Aufgabe und 9,01 $ pro tatsächlich bestandenem Durchlauf bei maximalem Aufwand.
- 5GPT-6.2 Astra
Trägt die höchste selbst gemeldete Zahl für Berufsarbeit überhaupt – 77,6% bei ALE v1.1 –, doch das ist der eigene Lauf des Labors mit Bewertungsschema bei maximalem Aufwand, nicht die strikte Bestehensquote, nach der andere bewertet werden.
Quelle ↗ - 6Gemini 4 Hydrogen
Die Preis-Leistungs-Spitze: 51,1% bei AutomationBench für 0,82 $ pro Aufgabe – und bei niedrigem Aufwand besteht es noch 30,6% für 0,18 $. Nichts Getestetes ist zugleich günstiger und genauer.
- 7Claude Sonnet 5.5
Schlägt sein größeres Geschwistermodell Opus 5.5 bei AutomationBench (44,6% gegenüber 40,0%) zu einem Bruchteil der Kosten – der deutlichste Beleg dafür, dass der Preis nichts über die Leistung aussagt.
- 8GPT-6 Sol
Das Arbeitstier fürs Preis-Leistungs-Verhältnis: 32,2% strikte Bestehensquote bei Agents' Last Exam für insgesamt 318 $ (gegenüber 1.100 $ bei Astra) und etwa 80% von Astras AutomationBench-Wertung zu etwa einem Sechstel der Kosten.
- 9MiniMax M3.1 Flash
Der Preisbrecher: 29,6% bei Agents' Last Exam für insgesamt 91,44 $ – etwa 7% dessen, was der Spitzenreiter ausgegeben hat – und auf den mittleren Aufgaben des Benchmarks steigt es auf 46,3%.
Quelle ↗ - 10Kimi K3
Das beste Agenten-Paket mit offenen Gewichten im Berufstest (28,3% strikte Bestehensquote im eigenen Kimi-Code-Harness) – und 0,43 $ pro Aufgabe bei AutomationBench.
Quelle ↗
Was Kimi aufgefallen ist
Die schwierigste Arbeit ist noch unberührt: Auf der schwersten Stufe von Agents' Last Exam – Aufgaben, für die menschliche Experten Tage bis Wochen brauchen – erzielte jeder getestete Spitzenagent, auch die damals neuesten Flaggschiffe, 0%. Die Spitzenquote der Rangliste von rund 38% bezieht sich auf den gesamten Aufgabensatz, nicht auf das schwere Ende.
Am oberen Ende kauft Geld erstaunlich wenig: Die ALE-Kosten liegen um eine Größenordnung auseinander (etwa 1,33–15,70 $ pro abgeschlossene Aufgabe im Juni-Durchlauf), und MiniMax M3.1 Flash erreicht rund 77% der strikten Bestehensquote des Spitzenreiters für etwa 7% von dessen Gesamtausgaben (91 $ gegenüber 1.340 $).
Strikte Bestehensquoten halten alle bescheiden: Die beste Punktzahl bei AutomationBench mit 657 Aufgaben liegt bei 53,9%, und im simulierten Büro von TheAgentCompany schließt das stärkste Modell nur etwa 30% der Berufsaufgaben vollständig ab. „Nützliche Agenten gibt es schon; einsatzfertige Agenten noch nicht.“
🇨🇳 DeepSeek10 Plätze · 3 Hinweise
Dieselbe Frage, allein von DeepSeek beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Gemini 4 Carbon (ALE-Claw)
Führt ALE mit 45,9% strikter Bestehensquote und 77,4% Wertung an – scheitert aber auf der schwersten Stufe trotzdem in 100% der Fälle.
Quelle ↗ - 2Claude Fable 5.2 / 5.1 (Claude Code)
Schließt 41,25% echter Freelance-Aufträge ab, mehr als doppelt so viel wie Opus 5.5 – bei mehr als 15,70 $ pro ALE-Aufgabe.
- 3GPT-6 Astra (Codex)
42,6% ALE-Bestehensquote bei 80 Stunden und 5,1 Millionen Token – der Effizienzführer unter den drei besten ALE-Agenten.
Quelle ↗ - 4Claude Opus 5.5 (Claude Code)
Am besten bei DAYJOBs Berufsaufgaben von 13 bis 17 Stunden im Gesundheitswesen mit 24,7% – aber 177 Stunden bei ALE.
Quelle ↗ - 5Kimi 3.1 Pro (Kimi Code)
43,4% ALE-Bestehensquote in 61 Stunden – schneller als Opus 5.5 und Fable 5.2 bei ähnlichen Ergebnissen.
Quelle ↗ - 6Gemini 4 Argon (ALE-Claw)
51,3% strikte Bestehensquote bei AutomationBench, 1,70 $ pro Aufgabe – der beste App-übergreifende Workflow-Agent.
Quelle ↗ - 7GPT-6 Sol (Codex)
33,2% Bestehensquote bei AutomationBench, 0,27 $ pro Aufgabe – der günstigste glaubwürdige Workflow-Agent.
Quelle ↗ - 8Claude Sonnet 5.5
44,7% strikte Bestehensquote bei AutomationBench, 1,14 $ – 6,6 Punkte hinter dem Spitzenreiter, aber 33% günstiger.
Quelle ↗ - 9Gemini 3.5 Flash
42,6% bei AutomationBench-AA, 0,49 $ pro Aufgabe und 0,46 Verstöße gegen Leitplanken pro Aufgabe – die günstigste halbwegs sichere Option.
Quelle ↗ - 10DeepSeek V4.1 Flash (OpenClaw)
36,1% ALE-Bestehensquote in 76 Stunden – die Option mit offenen Gewichten und 65,4% Teilpunkten.
Quelle ↗
Was DeepSeek aufgefallen ist
Die schwerste Stufe von ALE ist noch immer eine Mauer mit 0%: Jeder getestete Spitzenagent, auch Fable 5, scheitert auf dieser Stufe an jeder Aufgabe. Der insgesamt beste Agent besteht im ursprünglichen ALE nur 25,2%, bei Terminal-Bench dagegen 82%. Die Lücke bei Berufsarbeit ist viel größer als die bei der Programmierung.
ApprenticeBench ist der sauberste Vergleich von Kosten und Aufsicht: Fable 5.1 schlägt den besten menschlichen Tester 72 zu 51 bei einem echten Auftrag in der Kreditorenbuchhaltung, aber zu 18,23 $ pro Rechnung gegenüber 7,21 $ für den Menschen. Der Agent gewinnt bei der Qualität und verliert bei der Wirtschaftlichkeit pro Einheit.
Jedes Modell verletzt bei AutomationBench-AA Geschäftsregeln. Das sicherste Modell verstößt noch etwa einmal pro 15 erreichte Ziele gegen eine Leitplanke, das schlechteste einmal pro 0,8 Ziele. Bei der heutigen Verlässlichkeit ist menschliche Prüfung nicht optional.
🇨🇳 Qwen10 Plätze · 3 Hinweise
Dieselbe Frage, allein von Qwen beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1Claude Fable 5.2
Führt SWE-bench Verified mit 95% an und die Pareto-Grenze für reale Arbeit bei Arena mit 11,32 $ pro Aufgabe.
Quelle ↗ - 2GPT-6.2 Astra
Führt Agents' Last Exam v1.1 mit 47,5% strikter Bestehensquote und 78,3% Bewertung bei 2,6 Millionen Ausgabe-Token an.
Quelle ↗ - 3Qwen3.8 Max
Erreicht bei OSWorld-Verified 86,1% und übertrifft damit die menschliche Vergleichsmarke bei offenen Computer-Aufgaben.
Quelle ↗ - 4Claude Opus 5.5
Erreicht bei SWE-bench Verified 97% (mit Mini-SWE-agent) und kostet auf Arenas Arbeits-Rangliste nur 8,06 $ pro Aufgabe.
Quelle ↗ - 5Gemini 4 Neon
Führt die unabhängige Rangliste AutomationBench-AA von Artificial Analysis mit 79,3% bei simulierten SaaS-Workflows an.
Quelle ↗ - 6MiniMax M3.1 Flash
Führt Zapiers offiziellen AutomationBench mit einer Abschlussquote von 62,2% bei mehrstufigen Geschäftsautomatisierungen an.
Quelle ↗ - 7ERNIE 5.5 Flash Preview
Erreicht bei Zapiers AutomationBench 61,9%, weil es App-übergreifende Unklarheiten bei CRM und Kalender effizient bearbeitet.
Quelle ↗ - 8Devin (SWE-1.7 / SWE-2)
Der autonome Software-Ingenieur von Cognition erreicht 81,5% bei Terminal-Bench 2.1 und 77,8% bei SWE-bench Multilingual.
Quelle ↗ - 9Lindy.ai
Der Baukasten für KI-Mitarbeiter ohne Programmierung kostet 29,99 bis 199,99 $ im Monat, spaltet die Nutzer aber zwischen 4,9 Sternen bei G2 und 1,7 bei Trustpilot.
- 10Relevance AI
Setzt auf „KI-Fabriken“, in denen Betriebsteams selbstverbessernde Agenten-Belegschaften ohne Programmierung aufbauen.
Quelle ↗
Was Qwen aufgefallen ist
Beim Agents' Last Exam bestanden gängige KI-Agenten zunächst nur 2,6% echter Berufsaufgaben. Die neueste Rangliste v1.1 zeigt aber, dass GPT-6.2 Astra eine strikte Bestehensquote von 47,5% erreicht.
Ranglisten für reale Arbeit wie die von Arena zeigen: Die leistungsstärksten Agenten (wie Claude Fable 5.2 mit 11,32 $ pro Aufgabe) sind pro abgeschlossener Aufgabe teurer als ältere Modelle (wie Claude Opus 5.5 mit 8,06 $).
Zapiers AutomationBench zeigt eine große Lücke zwischen offiziellen Werten des Anbieters (MiniMax mit 62,2%) und unabhängigen Bewertungen (Gemini 4 Neon mit 79,3% bei AutomationBench-AA). Wie ein Benchmark durchgeführt wird, zählt also genauso viel wie das Modell selbst.
🇨🇳 Qianwen10 Plätze
Dieselbe Frage, allein von Qianwen beantwortet. Die endgültige Liste oben vereint alle KIs.
- 1ChatGPT Work
Höchste strikte Bestehensquote bei Agents' Last Exam mit integrierter Werkzeugausführung.
Quelle ↗ - 2Claude Cowork
Höchste Bewertung bei langfristigen Dokument-Workflows.
- 3Microsoft Copilot Studio
Beste Unternehmensintegration mit M365 für geprüfte Geschäftsaufgaben.
- 4Gemini Agent
Starke multimodale Leistung in App-übergreifenden Workflows.
- 5Codex
Führend bei Codeerzeugung und Fehlersuche in beruflichen Entwicklungsaufgaben.
Quelle ↗ - 6Manus
Hohe Eigenständigkeit bei Rechercheaufgaben, braucht aber menschliche Prüfung.
- 7Cursor
Optimiert für IDE-integriertes Programmieren mit geringer Latenz.
- 8WorkBuddy
Kostengünstig für routinemäßige Büroautomatisierung mit mittlerer Genauigkeit.
- 9OpenClaw
Open-Source-Alternative mit hoher Anpassbarkeit, aber niedrigeren Bestehensquoten.
Quelle ↗ - 10Antigravity
Spezialisiert auf Softwareentwicklung, bei Geschäfts-Workflows aber begrenzt.