सख़्त पास और ग्रेड किया गया स्कोर अलग कहानी कहते हैं। GPT-6.2 Astra लंबे कामों का 47.5% पूरी तरह पास करता है, पर औसत 78.3% है, यानी उसके काम का बड़ा हिस्सा हर जाँच पार किए बिना आंशिक अंक पाता है।
काम के लिए सबसे अच्छे AI एजेंट 2026: असली काम की परीक्षाओं में शीर्ष 10
Agents' Last Exam पर सबसे अच्छा एजेंट, GPT-6.2 Astra, 122 लंबे पेशेवर कामों में से केवल 47.5% को पूरी तरह पूरा करता है। ज़ैपियर के बिज़नेस वर्कफ़्लो में ज़्यादातर नाकामियाँ वे हैं जहाँ एजेंट सफलता की रिपोर्ट देता है, जबकि रिकॉर्ड गलत होते हैं।
- नंबर 1: GPT-6.2 Astra (Codex)
- 10 स्थान
01अंतिम सूची
अग्रणी AI ने स्वतंत्र रूप से अपनी-अपनी दस स्थानों की सूची बनाई। यहाँ एक आसानी से जाँचा जा सकने वाला नतीजा है: हर स्थान का कारण, स्रोत और उसे शामिल करने वाले AI की सूची है।
लंबे दायरे के पेशेवर कामों पर पूरा होने की दरों और ग्रेड किए गए स्कोर की तुलना, जिसमें आंशिक अंक और सख़्त पास दरें शामिल हैं।
चमकीला बैज: इस AI ने प्रविष्टि अपनी सूची में रखी। फीका बैज: नहीं रखी।
- 1
GPT-6.2 Astra (Codex)
लंबी परीक्षा में इसका सख़्त पास सबसे ऊपर है, 47.5%, जो 29 घंटे में हुआ, जबकि Fable को 227 घंटे लगे। यह ज़ैपियर के बिज़नेस वर्कफ़्लो का 52.4% भी पास करता है, प्रति काम $0.83 पर।
शामिल किया: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, Qwen. शामिल नहीं किया: Claude, DeepSeek, Qianwen.उनकी सूचियों में: ChatGPT: 1 · Meta: 2 · Grok: 1 · Gemini: 1 · MiMo: 1 · Kimi: 5 · Qwen: 2
हर AI ने क्या नोट किया 7
- ChatGPTस्थान 1
ALE पर $3.05 प्रति कार्य और लगभग 14 मिनट में 47.5% सख़्त पास और 78.3% ग्रेड किया हुआ स्कोर। लगभग आधे कार्य अब भी “सब-या-कुछ-नहीं” वाली कसौटी पर विफल होते हैं।
स्रोत ↗ - Metaस्थान 2
ALE v1.1 पर 47.5% पास, अब तक का सबसे ऊँचा सख़्त पास, 227 घंटों की जगह 29 घंटों में।
स्रोत ↗ - Grokस्थान 1
यह 122 लंबे पेशेवर कार्यों में से 47.5% सख़्त रूप से पूरे करता है, 29 घंटों में। वही रन जिसके करीब पहुँचने में Fable को 227 घंटे लगते हैं।
- Geminiस्थान 1
Agents' Last Exam v1.1 में 47.5% पास-दर और 78.3% आंशिक-अंक स्कोर के साथ 2.6M आउटपुट टोकन पर आगे है, हालाँकि उपयोगकर्ता अब भी ज़रूरत से ज़्यादा जटिलता और बिना सत्यापित दावों की शिकायत करते हैं।
स्रोत ↗ - MiMoस्थान 1
पहला मॉडल जिसे कभी स्व-सुधार क्षमता के लिए High रेटिंग मिली, और फिर भी वही जिसकी निगरानी इंसान सबसे बाद में करते हैं।
स्रोत ↗ - Kimiस्थान 5
कहीं भी सबसे ऊँचा स्व-रिपोर्ट किया पेशेवर-काम आँकड़ा रखता है, ALE v1.1 पर 77.6%। पर यह लैब का अपना Max-प्रयास रूब्रिक रन है, वह सख़्त पास दर नहीं जिस पर बाकी ग्रेड होते हैं।
स्रोत ↗ - Qwenस्थान 2
2.6 मिलियन आउटपुट टोकन पर 47.5% सख़्त पास और 78.3% ग्रेड किए स्कोर के साथ Agents' Last Exam v1.1 में आगे है।
स्रोत ↗
7 AI ने इसे यहाँ रखा - 2
Gemini 4 Carbon
यह दोनों तालिकाओं में शीर्ष के पास है: लंबी परीक्षा में 45.9% सख़्त और ज़ैपियर वर्कफ़्लो में 53.9%। इसका 77.4% का आंशिक स्कोर इस बात को छिपाता है कि यह हर 100 लंबे कामों में लगभग 54 में नाकाम होता है।
शामिल किया: ChatGPT, Meta, Grok, Gemini, Claude, Kimi, DeepSeek. शामिल नहीं किया: MiMo, Qwen, Qianwen.उनकी सूचियों में: ChatGPT: 9 · Meta: 4 · Grok: 2 · Gemini: 3 · Claude: 1 · Kimi: 3 · DeepSeek: 1
हर AI ने क्या नोट किया 7
- ChatGPTस्थान 9
53.9% कार्य-पूर्णता निजी लीडरबोर्ड के लीडर के ठीक पीछे है, पर इसे ALE के पेशेवर कंप्यूटर-उपयोग कार्यों से सीधे तुलना नहीं किया जा सकता।
स्रोत ↗ - Metaस्थान 4
AutomationBench पर 53.9%, यानी सबसे अच्छा क्रॉस-ऐप स्कोर, और GDPx पर 10.9%, Opus की प्रति-कार्य लागत के एक-तिहाई पर।
- Grokस्थान 2
लंबी परीक्षा पर 77.4% ग्रेड किया हुआ स्कोर, और फिर भी उन कार्यों में से हर 100 में से लगभग 54 को सख़्ती से विफल कर देता है।
- Geminiस्थान 3
Agents' Last Exam v1.1 पर 45.9% पास-दर और 77.4% स्कोर दर्ज करता है, जटिल वर्कफ़्लो पर मज़बूत आंशिक अंकों को निश्चित सत्यापन-जाँचों के साथ जोड़ते हुए।
स्रोत ↗ - Claudeस्थान 1
यह Agents' Last Exam v1.1 पर 45.9% सख़्त पास और 77.4% स्कोर के साथ आगे है, और AutomationBench के 53.9% कार्य $2.12 प्रति कार्य पर पास करता है।
- Kimiस्थान 3
सबसे सख़्त वर्कफ़्लो ग्रेडर का चैंपियन: AutomationBench पर 53.9% Zapier द्वारा 657 असली व्यावसायिक कार्यों पर दर्ज सबसे ऊँची पास-दर है।
- DeepSeekस्थान 1
ALE पर 45.9% सख़्त पास और 77.4% स्कोर के साथ सबसे आगे, फिर भी सबसे कठिन स्तर पर 100% बार विफल होता है।
स्रोत ↗
7 AI ने इसे यहाँ रखा - 3
Claude Fable 5.2 (Claude Code)
इसकी लंबी परीक्षा में 46.9% पास दर में 9 घटाए गए काम शामिल नहीं हैं, और इसे 227 घंटे लगे, सबसे भारी चलन। यह ज़ैपियर वर्कफ़्लो का 51.4% पास करता है, पर प्रति काम $4.64 पर।
शामिल किया: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Qwen. शामिल नहीं किया: Claude, Qianwen.उनकी सूचियों में: ChatGPT: 6 · Meta: 3 · Grok: 7 · Gemini: 2 · MiMo: 2 · Kimi: 4 · DeepSeek: 2 · Qwen: 1
हर AI ने क्या नोट किया 8
- ChatGPTस्थान 6
सामने आए रन में 43.4% सख़्त पास, $60.05 लागत और प्रति कार्य दो घंटे: लीडर की पास दर के लगभग बराबर, पर लगभग 20 गुना लागत पर।
स्रोत ↗ - Metaस्थान 3
ALE v1.1 पर 46.9%, और इंटेलिजेंस इंडेक्स में शीर्ष पर, 227 घंटे एजेंट-समय के बाद।
स्रोत ↗ - Grokस्थान 7
46.9% पास-दर में 9 कार्य नहीं गिने गए, और फिर भी रन में 227 घंटे और प्रति वर्कफ़्लो $4.64 लगे।
- Geminiस्थान 2
Agents' Last Exam v1.1 पर 46.9% पास-दर और 72.8% स्कोर (9 डाउनग्रेड किए गए आइटमों को छोड़कर औसत) तक पहुँचता है, पर लागत और सत्यापन में सावधानी का अनुशासन ज़रूरी है।
स्रोत ↗ - MiMoस्थान 2
Astra के साथ लगभग $8 पर कीमत बराबरी, और बेंचमार्क की दौड़ अब सेंट से तय होती है, दिमाग से नहीं।
स्रोत ↗ - Kimiस्थान 4
एक ही रिलीज़ में अपने पूर्ववर्ती को दोगुना किया: AutomationBench पर 22.4% से 51.4%, प्रति कार्य 96.9 टूल कॉल के साथ, अधिकतम प्रयास पर $9.01 प्रति असली पास पर।
- DeepSeekस्थान 2
असली फ़्रीलांस नौकरियों का 41.25% पूरा करता है, Opus 5.5 से दोगुने से भी ज़्यादा, ALE के $15.70+ प्रति कार्य पर।
- Qwenस्थान 1
SWE-bench Verified पर 95% में शीर्ष पर है, और Arena के असली-दुनिया कार्य Pareto फ़्रंटियर पर $11.32 प्रति कार्य पर।
स्रोत ↗
8 AI ने इसे यहाँ रखा - 4
Gemini 4 Neon
यह ज़ैपियर की आधिकारिक वर्कफ़्लो तालिका में 56.3% पर सबसे आगे है, प्रति काम $1.69 पर। इसकी लंबी पेशेवर परीक्षा में कोई पंक्ति नहीं है, इसलिए इसे केवल एक ही तालिका पर परखा गया है।
शामिल किया: ChatGPT, Grok, Gemini, Claude, Qwen. शामिल नहीं किया: Meta, MiMo, Kimi, DeepSeek, Qianwen.उनकी सूचियों में: ChatGPT: 2 · Grok: 4 · Gemini: 4 · Claude: 5 · Qwen: 5
हर AI ने क्या नोट किया 5
- ChatGPTस्थान 2
Zapier के निजी वर्कफ़्लो सेट पर 56.3% सख़्त पूर्णता मौजूदा मॉडल सूची में आगे है, पर कार्य तभी गिना जाता है जब हर ऐप की अंतिम स्थिति सही हो।
स्रोत ↗ - Grokस्थान 4
यह Zapier के निजी वर्कफ़्लो का 56.32% पूरा करता है, $1.69 में, और लंबी पेशेवर परीक्षा इसे सूची में नहीं डालती।
- Geminiस्थान 4
AutomationBench-AA पर 79.3% के साथ शीर्ष पर है, जिसमें कई-ऐप व्यावसायिक वर्कफ़्लो में 94% उद्देश्य पूरे हुए। फिर भी ऊँचे-दाँव वाली कार्रवाइयों पर गार्डरेल और इंसानी जाँच ज़रूरी है।
स्रोत ↗ - Claudeस्थान 5
यह $1.69 प्रति कार्य पर 56.3% के साथ AutomationBench पर शीर्ष पर है, और Carbon से प्रति कार्य सस्ता है।
स्रोत ↗ - Qwenस्थान 5
स्वतंत्र Artificial Analysis AutomationBench-AA लीडरबोर्ड पर सिम्युलेटेड SaaS वर्कफ़्लो पर 79.3% स्कोर के साथ शीर्ष पर है।
स्रोत ↗
5 AI ने इसे यहाँ रखा - 5
Qwen 4 (Codex harness)
यह लंबी परीक्षा का 46.7% पास करता है, Fable से केवल 0.1 अंक पीछे, पर इसे 185 घंटे लगते हैं। इसे बाहरी टीम ने चलाया, और कोई वर्कफ़्लो या लागत का आँकड़ा प्रकाशित नहीं है।
शामिल किया: Meta, Grok, Gemini. शामिल नहीं किया: ChatGPT, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen.उनकी सूचियों में: Meta: 8 · Grok: 5 · Gemini: 5
हर AI ने क्या नोट किया 3
- Metaस्थान 8
ALE v1.1 पर 46.7%, फ़्रंटियर के ठीक पीछे तीसरे स्थान पर, जिसकी लागत और निगरानी के सार्वजनिक सबूत बहुत कम हैं।
स्रोत ↗ - Grokस्थान 5
46.7% सख़्त पास, Fable की मुख्य दर से दशमलव का एक अंक पीछे, 185 घंटों के बाद।
स्रोत ↗ - Geminiस्थान 5
Agents' Last Exam v1.1 के शीर्ष स्तर में है, Qwen 4 के 46.7% पास-दर और सत्यापन योग्य पेशेवर वर्कफ़्लो पर 74.4% स्कोर के साथ।
स्रोत ↗
3 AI ने इसे यहाँ रखा - 6
Kimi 3.1 Pro (Kimi Code)
यह Opus 5.5 के लंबी परीक्षा में 43.4% पास से मेल खाता है, पर 177 की जगह 61 घंटे में, और 21.5M के मुकाबले 8.5M आउटपुट टोकन इस्तेमाल करता है। शीर्ष के करीब वालों में यह सबसे किफ़ायती विकल्प है।
शामिल किया: ChatGPT, Grok, Gemini, Claude, DeepSeek. शामिल नहीं किया: Meta, MiMo, Kimi, Qwen, Qianwen.उनकी सूचियों में: ChatGPT: 7 · Grok: 3 · Gemini: 6 · Claude: 4 · DeepSeek: 5
हर AI ने क्या नोट किया 5
- ChatGPTस्थान 7
43.4% सख़्त पास, $7 प्रति कार्य और लगभग 30 मिनट, इस लीडरबोर्ड पर सामने आए महँगे फ़्रंटियर रनों जितना ही पास-हिस्सा।
स्रोत ↗ - Grokस्थान 3
Opus के समान 43.4% सख़्त पास, लगभग एक-तिहाई घंटों में, और 21.5 मिलियन की जगह 8.5 मिलियन टोकन के साथ।
स्रोत ↗ - Geminiस्थान 6
Kimi Code हार्नेस पर शीर्ष 43.4% पास-दर और 74.4% स्कोर देता है, 8.5 मिलियन आउटपुट टोकन इस्तेमाल करते हुए। Claude Opus 5.5 के 21.5 मिलियन टोकन से यह काफ़ी कम है।
स्रोत ↗ - Claudeस्थान 4
एक ओपन-वेट परिवार का मॉडल ALE v1.1 पर 43.4% के साथ Opus 5.5 के बराबर रहा, जबकि उसका सहोदर Kimi K3 AutomationBench पर 12वें स्थान पर 22.7% पर है।
स्रोत ↗ - DeepSeekस्थान 5
61 घंटों में 43.4% ALE पास, समान स्कोर पर Opus 5.5 और Fable 5.2 से तेज़।
स्रोत ↗
5 AI ने इसे यहाँ रखा - 7
Gemini 4 Hydrogen (Antigravity CLI)
यह किफ़ायती विकल्प है: ज़ैपियर वर्कफ़्लो पर 51.1%, प्रति काम $0.82 पर, और $0.18 पर भी 30.6%। यह लंबी परीक्षा का 43.4% भी पास करता है।
शामिल किया: Grok, Kimi. शामिल नहीं किया: ChatGPT, Meta, Gemini, Claude, MiMo, DeepSeek, Qwen, Qianwen.उनकी सूचियों में: Grok: 9 · Kimi: 6
हर AI ने क्या नोट किया 2
- Grokस्थान 9
बिज़नेस वर्कफ़्लो 51.14% सख़्त दर पर $0.82 पड़ते हैं, जबकि लंबी परीक्षा 43.4% तक पहुँचने में 25.5 मिलियन टोकन खर्च करती है।
- Kimiस्थान 6
मूल्य का मोर्चा: AutomationBench पर $0.82 प्रति कार्य में 51.1%, और कम प्रयास पर भी $0.18 में 30.6% पास करता है। जाँचे गए मॉडलों में कुछ भी एक साथ सस्ता और ज़्यादा सटीक नहीं है।
2 AI ने इसे यहाँ रखा - 8
Claude Opus 5.5 (Claude Code)
यह 177 घंटे और 21.5M टोकन के बाद लंबी परीक्षा का 43.4% पास करता है, और $1.44 पर ज़ैपियर वर्कफ़्लो का 42.5%। इसका पुरानी तालिका का 38.2% एक अलग कामों के सेट से आता है।
शामिल किया: ChatGPT, Meta, Grok, Claude, Kimi, DeepSeek, Qwen. शामिल नहीं किया: Gemini, MiMo, Qianwen.उनकी सूचियों में: ChatGPT: 10 · Meta: 1 · Grok: 8 · Claude: 2 · Kimi: 1 · DeepSeek: 4 · Qwen: 4
हर AI ने क्या नोट किया 7
- ChatGPTस्थान 10
Zapier के सार्वजनिक 600-कार्य सेट पर 50.3%, जबकि Zapier चेतावनी देता है कि उसके आधिकारिक निजी रोके गए स्कोर अलग हो सकते हैं।
स्रोत ↗ - Metaस्थान 1
सबसे कठिन पेशेवर परीक्षा में 12% पर आगे है और फिर भी 88% में विफल होता है, $51.41 प्रति कार्य पर।
स्रोत ↗ - Grokस्थान 8
43.4% सख़्त पास और 71.6% ग्रेड, 177 घंटों और 21.5 मिलियन आउटपुट टोकन के बाद।
स्रोत ↗ - Claudeस्थान 2
ALE v1.1 पर 43.4% के साथ दूसरे स्थान पर बराबरी पर है, पर AutomationBench में यह Medium पर $0.65 प्रति कार्य में 29.5% और Max पर 42.5% देता है। सेटिंग के हिसाब से फ़ासला बड़ा है।
स्रोत ↗ - Kimiस्थान 1
सबसे सख़्त पेशेवर-काम परीक्षा (Agents' Last Exam पर 38.2% पास, 63.2% स्कोर) और GDPval-AA (68.3%) में आगे है, $1,340 और 183 घंटे की कंप्यूट लागत पर।
स्रोत ↗ - DeepSeekस्थान 4
DAYJOB के 13–17 घंटे के पेशेवर कार्यों पर सबसे अच्छा, स्वास्थ्य-सेवा में 24.7%, पर ALE पर 177 घंटे।
स्रोत ↗ - Qwenस्थान 4
SWE-bench Verified पर 97% (Mini-SWE-agent के साथ) देता है, और Arena के कार्य लीडरबोर्ड पर बस $8.06 प्रति कार्य खर्च करता है।
स्रोत ↗
7 AI ने इसे यहाँ रखा - 9
GPT-6.2 Sol (Codex)
यह Astra से लगभग छह अंक पीछे रहता है, लंबी परीक्षा का 41.8% पास करता है, और फिर भी 3.1M टोकन के साथ 32 घंटे में पूरा होता है। कोई वर्कफ़्लो-तालिका स्कोर प्रकाशित नहीं है।
शामिल किया: Grok, MiMo. शामिल नहीं किया: ChatGPT, Meta, Gemini, Claude, Kimi, DeepSeek, Qwen, Qianwen.2 AI ने इसे यहाँ रखा - 10
Gemini 4 Argon
यह $1.70 की सूची कीमत पर ज़ैपियर वर्कफ़्लो का 51.3% पास करता है, पर लंबी परीक्षा का केवल 40.2%। अक्टूबर में यह वर्कफ़्लो तालिका में सबसे आगे था, फिर Neon ने इसे पीछे छोड़ दिया।
शामिल किया: Meta, Grok, Claude, DeepSeek. शामिल नहीं किया: ChatGPT, Gemini, MiMo, Kimi, Qwen, Qianwen.उनकी सूचियों में: Meta: 5 · Grok: 10 · Claude: 8 · DeepSeek: 6
हर AI ने क्या नोट किया 4
- Metaस्थान 5
AutomationBench पर 51.3%, 657 में से 337 वर्कफ़्लो, $1.70 प्रति कार्य पर।
- Grokस्थान 10
सूची-मूल्य $1.70 प्रति वर्कफ़्लो पर 51.29% सख़्त दर है, और लंबी परीक्षा में पास-दर 40.2% है।
- Claudeस्थान 8
यह ALE v1.1 पर 40.2% स्कोर करता है और एक दोबारा चलाए गए AutomationBench 1.0.6 स्नैपशॉट में 51.3% के साथ शीर्ष पर भी पहुँचता है।
स्रोत ↗ - DeepSeekस्थान 6
$1.70 प्रति कार्य पर AutomationBench पर 51.3% सख़्त पास, सबसे अच्छा क्रॉस-एप्लिकेशन वर्कफ़्लो एजेंट।
स्रोत ↗
4 AI ने इसे यहाँ रखा
02जानने योग्य
सूची बनाते समय AI ने क्या देखा।
नाकामियाँ सफलता जैसी दिखती हैं: ज़ैपियर बताता है कि Gemini की 91%, GPT-5.4 की 84% और Opus की 72% नाकामियों में एजेंट ने सफलता का दावा किया, जबकि रिकॉर्ड गलत थे।
लगभग एक जैसी पास दर में मशीन का समय एक दिन या एक हफ़्ता लग सकता है। Astra का 47.5% 29 घंटे में हुआ, जबकि Fable 5.2 का 46.9%, जिसके सेट में 9 काम नहीं थे, 227 घंटे में हुआ।
AutomationBench-AA पर जाँचे गए हर मॉडल ने बिज़नेस के सुरक्षा-नियम तोड़े, प्रति काम 0.46 से 1.26 उल्लंघन के साथ, इसलिए इंसानी जाँच ज़रूरी है।
Epoch AI ने Agents' Last Exam v1.1 को खामी वाला बताया: एक नमूने में 50 में से 22 कामों ने बिना तय काम किए भी पूरे अंक दे दिए। इन स्कोर को सबूत मानें, भरोसे की गारंटी नहीं।
03हमने कैसे गिना
सीधी भाषा में, बिना सूत्रों के।
1सवाल
पेशेवर काम के लिए शीर्ष 10 AI एजेंट: काम का प्रदर्शन, लागत और इंसानी निगरानी
2यह विषय क्यों
पाठक मापे गए काम के प्रदर्शन के साथ लागत, चलने का समय और इंसानी जाँच की ज़रूरत देखता है, ऐसे समझौते जिन्हें कोई एक बेंचमार्क नहीं पकड़ता।
3यह कहाँ लागू होता है
दुनिया भर के AI एजेंट सिस्टम, लंबे और जाँचे जा सकने वाले पेशेवर वर्कफ़्लो पर केंद्रित
4हमने किन बातों पर ध्यान दिया
- लंबे दायरे के पेशेवर कामों पर पूरा होने की दरों और ग्रेड किए गए स्कोर की तुलना, जिसमें आंशिक अंक और सख़्त पास दरें शामिल हैं।
- प्रदर्शन को लागत, चलने के समय, और नतीजे पर भरोसे के लिए ज़रूरी इंसानी जाँच, सुधार या काम अपने हाथ में लेने से तुलना करें।
- Agents' Last Exam v1.1 (यूसी बर्कले आरडीआई, आरडीआई फाउंडेशन, स्नॉर्कल एआई) — 55 उप-उद्योगों के 122 सार्वजनिक लंबे कामों पर सख़्त पास दर और आंशिक-अंक वाला ग्रेड स्कोर, साथ में चलने का समय और आउटपु
- ज़ैपियर AutomationBench 1.0.6 — निजी रोके गए सेट (47 सिम्युलेटेड ऐप, छह फ़ंक्शन) पर ऐप-पार बिज़नेस वर्कफ़्लो का सख़्त पूरा होना, प्रति काम लागत के साथ। हर जाँच पार होनी चाहिए।
- आर्टिफिशियल एनालिसिस AutomationBench-AA — ज़ैपियर के 657 निजी कामों पर स्वतंत्र दोबारा चलाना: सुरक्षा-नियम के भीतर वस्तुनिष्ठ पूर्ति (आंशिक अंक) और सख़्त पास। हर मॉडल बिज़नेस नियम तोड़ता है, साथ में
- Agents' Last Exam की एपोक एआई समीक्षा — बेंचमार्क की अपनी जाँच: एक नमूने में 50 में से 22 कामों में तय काम के बिना भी पूरे अंक मिल सकते थे।
5रैंक किसने दी
अग्रणी AI: ChatGPT, Meta, Grok, Gemini, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen। हर एक ने स्वतंत्र रूप से दस स्थानों की अपनी सूची बनाई और हर स्थान के लिए स्रोत बताया।
6स्थान कैसे तय हुए
अलग-अलग AI द्वारा अलग ढंग से लिखी गई एक ही चीज़ को एक गिना गया। जितने ज़्यादा AI ने किसी चीज़ को अपनी सूची में रखा और जितना ऊपर रखा, उसका स्थान उतना ऊँचा। "AI की सहमति" बताती है कि कितने AI की अपनी सूची में वह चीज़ थी। स्रोत केवल वही हैं जो AI ने खुद खोजे; हाथ से कुछ नहीं जोड़ा गया।
04हर AI की अपनी सूची
🇺🇸 ChatGPT10 स्थान · 4 नोट
वही सवाल, जिसका जवाब अकेले ChatGPT ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।
- 1GPT-6.2 Astra — Agents' Last Exam v1.1
ALE पर $3.05 प्रति कार्य और लगभग 14 मिनट में 47.5% सख़्त पास और 78.3% ग्रेड किया हुआ स्कोर। लगभग आधे कार्य अब भी “सब-या-कुछ-नहीं” वाली कसौटी पर विफल होते हैं।
स्रोत ↗ - 2Gemini 4 Neon — AutomationBench (Zapier)
Zapier के निजी वर्कफ़्लो सेट पर 56.3% सख़्त पूर्णता मौजूदा मॉडल सूची में आगे है, पर कार्य तभी गिना जाता है जब हर ऐप की अंतिम स्थिति सही हो।
स्रोत ↗ - 3GPT-6.2 Astra — AutomationBench (Zapier)
उसी रोके गए लीडरबोर्ड में 52.4% सख़्त वर्कफ़्लो पास, और ALE का अलग $3.05 प्रति-कार्य परिणाम एक दूसरा, अलग तरह का आँकड़ा देता है।
स्रोत ↗ - 4GPT-6.2 Astra — AutomationBench-AA
Artificial Analysis ज़ैपियर के बनाए 657 कार्यों और 22,822 जाँच-बिंदुओं (assertions) का मूल्यांकन करता है। वह हर कार्य को सिर्फ़ “पूरा हुआ या नहीं” में नहीं समेटता, बल्कि सख़्त पास के साथ आंशिक वस्तुनिष्ठ पूर्णता भी दिखाता है।
स्रोत ↗ - 5GPT-6.2 Astra — Remote Labor Index
सिम्युलेटेड वर्कफ़्लो टेस्ट पर ऊँची रैंक, पर स्केल एआई के विशेषज्ञों द्वारा ग्रेड किए गए फ़्रीलांस-प्रोजेक्ट बेंचमार्क से साफ़-सुथरे सैंडबॉक्स कार्यों की ज़रूरी जाँच होती है।
स्रोत ↗ - 6Claude Fable 5.2 Max — Agents' Last Exam v1.1
सामने आए रन में 43.4% सख़्त पास, $60.05 लागत और प्रति कार्य दो घंटे: लीडर की पास दर के लगभग बराबर, पर लगभग 20 गुना लागत पर।
स्रोत ↗ - 7Kimi K3.1 Pro Max — Agents' Last Exam v1.1
43.4% सख़्त पास, $7 प्रति कार्य और लगभग 30 मिनट, इस लीडरबोर्ड पर सामने आए महँगे फ़्रंटियर रनों जितना ही पास-हिस्सा।
स्रोत ↗ - 8Claude Opus 5.5 Max — Agents' Last Exam v1.1
43.4% सख़्त पास, $17.57 प्रति कार्य और 87 मिनट। शीर्ष रन की पास दर से नीचे, पर काफ़ी ज़्यादा बताई गई लागत पर।
स्रोत ↗ - 9Gemini 4 Carbon — AutomationBench (Zapier)
53.9% कार्य-पूर्णता निजी लीडरबोर्ड के लीडर के ठीक पीछे है, पर इसे ALE के पेशेवर कंप्यूटर-उपयोग कार्यों से सीधे तुलना नहीं किया जा सकता।
स्रोत ↗ - 10Claude Opus 5 — AutomationBench public benchmark
Zapier के सार्वजनिक 600-कार्य सेट पर 50.3%, जबकि Zapier चेतावनी देता है कि उसके आधिकारिक निजी रोके गए स्कोर अलग हो सकते हैं।
स्रोत ↗
ChatGPT ने क्या देखा
सख़्त पास और ग्रेड किया हुआ स्कोर अलग-अलग कहानी कहते हैं: GPT-6.2 Astra के ALE रन में 47.5% पूरे पास और 78.3% औसत स्कोर बताया गया है। यानी कई रनों ने हर रूब्रिक (मूल्यांकन-मापदंड) शर्त पूरी किए बिना आंशिक अंक कमाए।
AutomationBench के लिए निजी सेट पर सबसे ऊँची दर 56.3% थी, जबकि Zapier का सार्वजनिक रिपॉज़िटरी अपने शीर्ष सूचीबद्ध सार्वजनिक-सेट मॉडल के लिए 50.3% बताता है। अलग-अलग सेट बताते हैं कि इन आँकड़ों को एक में नहीं मिलाना चाहिए।
लागत की रैंकिंग दिखती क्षमता को उलट सकती है: Claude Fable 5.2 Max का एक ALE रन $60.05 लगा और 43.4% सख़्त पास के लिए दो घंटे लगे, जबकि GPT-6.2 Astra ने 47.5% $3.05 और लगभग 14 मिनट में हासिल किया।
ALE कार्यों के नमूने की एक बेंचमार्क ऑडिट में गंभीर ग्रेडिंग कमज़ोरियाँ मिलीं: Epoch AI ने कहा कि 50 नमूना-कार्यों में से 22 ने बिना इच्छित काम के पूरे अंक दिए। यह रैंकिंग को सबूत मानने का कारण है, कार्यस्थल पर भरोसेमंदी की गारंटी नहीं।
🇺🇸 Meta10 स्थान · 3 नोट
वही सवाल, जिसका जवाब अकेले Meta ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।
- 1Claude Opus 5.5 (Max) – Claude Code
सबसे कठिन पेशेवर परीक्षा में 12% पर आगे है और फिर भी 88% में विफल होता है, $51.41 प्रति कार्य पर।
स्रोत ↗ - 2GPT-6.2 Astra (Max) – Codex
ALE v1.1 पर 47.5% पास, अब तक का सबसे ऊँचा सख़्त पास, 227 घंटों की जगह 29 घंटों में।
स्रोत ↗ - 3Claude Fable 5.2 (Max) – Claude Code
ALE v1.1 पर 46.9%, और इंटेलिजेंस इंडेक्स में शीर्ष पर, 227 घंटे एजेंट-समय के बाद।
स्रोत ↗ - 4Gemini 4 Carbon (High)
AutomationBench पर 53.9%, यानी सबसे अच्छा क्रॉस-ऐप स्कोर, और GDPx पर 10.9%, Opus की प्रति-कार्य लागत के एक-तिहाई पर।
- 5Gemini 4 Argon (High)
AutomationBench पर 51.3%, 657 में से 337 वर्कफ़्लो, $1.70 प्रति कार्य पर।
- 6GPT-6 Astra (Max) – Codex
GDPx पर 9.6% और AutomationBench पर 41.4%: मज़बूत, पर दोनों पर अपने 6.2 उत्तराधिकारी से एक कदम पीछे।
स्रोत ↗ - 7Claude Sonnet 5.5 (Max)
AutomationBench पर 44.7%, रोज़मर्रा के क्रॉस-ऐप कामों के लिए व्यावहारिक Claude, $1.14 प्रति कार्य पर।
- 8Qwen 4
ALE v1.1 पर 46.7%, फ़्रंटियर के ठीक पीछे तीसरे स्थान पर, जिसकी लागत और निगरानी के सार्वजनिक सबूत बहुत कम हैं।
स्रोत ↗ - 9GPT-6.1 Terra (Max)
ALE पर $1.01 प्रति कार्य में 60.0% ग्रेड, Opus 5.5 से नौ गुना सस्ता, पाँच अंक कम पर।
स्रोत ↗ - 10GitHub Copilot Fusion (Max)
Terminal-Bench पर 71.2%, सबसे ऊँचा टर्मिनल स्कोर, पर टर्मिनल कार्य सामान्य पेशेवर काम नहीं हैं।
स्रोत ↗
Meta ने क्या देखा
GDPx पर सबसे अच्छा एजेंट अब भी 88% विशेषज्ञ कार्यों में विफल होता है, और उस बेंचमार्क की शुरुआती रिपोर्ट में हर मॉडल वित्त और कानून में शून्य पर रहा।
लागत रैंकिंग पलट देती है: Fable 5.2 को ALE v1.1 पर 227 घंटे लगे, जबकि GPT-6.2 Astra ने ऊँचे पास के लिए केवल 29 घंटे लिए।
METR का “क्षितिज” (horizon) 2023 से लगभग हर 130 दिन में दोगुना हो रहा है। फिर भी 80% विश्वसनीय क्षितिज 50% क्षितिज से कहीं छोटा है, इसलिए भरोसेमंद लंबा काम सुर्ख़ियों वाले लंबे काम से पीछे है।
🇺🇸 Grok10 स्थान · 3 नोट
वही सवाल, जिसका जवाब अकेले Grok ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।
- 1GPT-6.2 Astra
यह 122 लंबे पेशेवर कार्यों में से 47.5% सख़्त रूप से पूरे करता है, 29 घंटों में। वही रन जिसके करीब पहुँचने में Fable को 227 घंटे लगते हैं।
- 2Gemini 4 Carbon
लंबी परीक्षा पर 77.4% ग्रेड किया हुआ स्कोर, और फिर भी उन कार्यों में से हर 100 में से लगभग 54 को सख़्ती से विफल कर देता है।
- 3Kimi 3.1 Pro
Opus के समान 43.4% सख़्त पास, लगभग एक-तिहाई घंटों में, और 21.5 मिलियन की जगह 8.5 मिलियन टोकन के साथ।
स्रोत ↗ - 4Gemini 4 Neon
यह Zapier के निजी वर्कफ़्लो का 56.32% पूरा करता है, $1.69 में, और लंबी पेशेवर परीक्षा इसे सूची में नहीं डालती।
- 5Qwen 4
46.7% सख़्त पास, Fable की मुख्य दर से दशमलव का एक अंक पीछे, 185 घंटों के बाद।
स्रोत ↗ - 6GPT-6.2 Sol
यह Astra से पास-दर के छह अंक छोड़ देता है और फिर भी लंबी परीक्षा 32 घंटों में पूरी करता है।
स्रोत ↗ - 7Claude Fable 5.2
46.9% पास-दर में 9 कार्य नहीं गिने गए, और फिर भी रन में 227 घंटे और प्रति वर्कफ़्लो $4.64 लगे।
- 8Claude Opus 5.5
43.4% सख़्त पास और 71.6% ग्रेड, 177 घंटों और 21.5 मिलियन आउटपुट टोकन के बाद।
स्रोत ↗ - 9Gemini 4 Hydrogen
बिज़नेस वर्कफ़्लो 51.14% सख़्त दर पर $0.82 पड़ते हैं, जबकि लंबी परीक्षा 43.4% तक पहुँचने में 25.5 मिलियन टोकन खर्च करती है।
- 10Gemini 4 Argon
सूची-मूल्य $1.70 प्रति वर्कफ़्लो पर 51.29% सख़्त दर है, और लंबी परीक्षा में पास-दर 40.2% है।
Grok ने क्या देखा
लंबी पेशेवर परीक्षा पर सबसे अच्छा सख़्त स्कोर भी अधिकांश कार्यों में चूक है: GPT-6.2 Astra 122 में से 47.5% पास करता है, इसलिए बाकी को इंसान को पूरा करना या हटाना होगा।
लगभग एक-सी लंबी-परीक्षा पास-दर में मशीन-समय एक हफ़्ते या एक दिन का लग सकता है। Astra का 47.5% 29 घंटे और 2.6 मिलियन आउटपुट टोकन में आया; Fable 5.2 का 46.9%, जिस सेट में 9 कार्य हटाए गए, 227 घंटे और 28.2 मिलियन टोकन में।
जून में कैलिफ़ोर्निया विश्वविद्यालय, बर्कले ने बताया कि उसके परखे हर फ़्रंटियर एजेंट, Fable 5 सहित, सबसे कठिन स्तर पर 0% रहे, और कुल मिलाकर सबसे अच्छा नतीजा लगभग 26% था। अक्टूबर का बोर्ड एक अलग, छोटा सार्वजनिक सेट है।
🇺🇸 Gemini10 स्थान · 3 नोट
वही सवाल, जिसका जवाब अकेले Gemini ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।
- 1Codex + GPT-6.2 Astra
Agents' Last Exam v1.1 में 47.5% पास-दर और 78.3% आंशिक-अंक स्कोर के साथ 2.6M आउटपुट टोकन पर आगे है, हालाँकि उपयोगकर्ता अब भी ज़रूरत से ज़्यादा जटिलता और बिना सत्यापित दावों की शिकायत करते हैं।
स्रोत ↗ - 2Claude Code + Fable 5.2
Agents' Last Exam v1.1 पर 46.9% पास-दर और 72.8% स्कोर (9 डाउनग्रेड किए गए आइटमों को छोड़कर औसत) तक पहुँचता है, पर लागत और सत्यापन में सावधानी का अनुशासन ज़रूरी है।
स्रोत ↗ - 3ALE-Claw + Gemini 4 Carbon
Agents' Last Exam v1.1 पर 45.9% पास-दर और 77.4% स्कोर दर्ज करता है, जटिल वर्कफ़्लो पर मज़बूत आंशिक अंकों को निश्चित सत्यापन-जाँचों के साथ जोड़ते हुए।
स्रोत ↗ - 4Gemini 4 Neon (Xhigh)
AutomationBench-AA पर 79.3% के साथ शीर्ष पर है, जिसमें कई-ऐप व्यावसायिक वर्कफ़्लो में 94% उद्देश्य पूरे हुए। फिर भी ऊँचे-दाँव वाली कार्रवाइयों पर गार्डरेल और इंसानी जाँच ज़रूरी है।
स्रोत ↗ - 5Codex + Qwen4-Max
Agents' Last Exam v1.1 के शीर्ष स्तर में है, Qwen 4 के 46.7% पास-दर और सत्यापन योग्य पेशेवर वर्कफ़्लो पर 74.4% स्कोर के साथ।
स्रोत ↗ - 6Kimi Code + Kimi 3.1 Pro
Kimi Code हार्नेस पर शीर्ष 43.4% पास-दर और 74.4% स्कोर देता है, 8.5 मिलियन आउटपुट टोकन इस्तेमाल करते हुए। Claude Opus 5.5 के 21.5 मिलियन टोकन से यह काफ़ी कम है।
स्रोत ↗ - 7Claude Opus 5
सार्वजनिक AutomationBench बहु-डोमेन SaaS कार्य-निष्पादन में आगे है, 50.3% पास-दर के साथ अधिकतम प्रयास पर: बिक्री, मार्केटिंग, संचालन, सहायता, वित्त और मानव संसाधन (HR) में।
स्रोत ↗ - 8Antigravity CLI
Agents' Last Exam v1.1 पर 43.4% शीर्ष पास-दर, जो बहु-चरणीय कार्यों पर प्रतिस्पर्धी एजेंट हार्नेस ऑर्केस्ट्रेशन दिखाती है।
स्रोत ↗ - 9Muse Code
Agents' Last Exam v1.1 पर 38.5% शीर्ष पास-दर दर्ज करता है, पूरे कार्य की सख़्त पूर्णता में शीर्ष हार्नेस से पीछे, और किनारे के मामलों पर इंसानी सत्यापन की ज़रूरत है।
स्रोत ↗ - 10OpenClaw
Agents' Last Exam v1.1 पर 36.1% शीर्ष पास-दर उपयोगी स्वचालन क्षमता दिखाती है, पर इंसानी समीक्षा और सुधार की काफ़ी गुंजाइश छोड़ती है।
स्रोत ↗
Gemini ने क्या देखा
Agents' Last Exam v1.1 की शीर्ष पास-दर (47.5%) भी 122 में से आधे से ज़्यादा कार्य अनसुलझे छोड़ती है, जबकि कठिन स्तर इतिहास में 1% से नीचे पूरे-पास औसत पर रहे हैं।
टोकन लागत और रनटाइम मॉडल और हार्नेस के हिसाब से बहुत अलग हैं। उदाहरण के लिए Kimi 3.1 Pro 8.5 मिलियन आउटपुट टोकन पर 74.4% स्कोर तक पहुँचता है, जबकि Opus 5.5 के लिए 21.5 मिलियन। हल्के हार्नेस बिना बड़ी गुणवत्ता-हानि के लागत 41% तक घटा सकते हैं।
Zapier की नवंबर 2026 की रिपोर्टिंग बताती है कि 45% कार्यकारी अधिकारी AI की इंसानी निगरानी को केवल ऊँचे-दाँव वाले कामों तक सीमित रखते हैं, या उसे छोड़ देते हैं, जबकि एजेंट अब भी ऐसी गलतियाँ करते हैं जिनके लिए इंसानी समीक्षा ज़रूरी है।
🇺🇸 Claude10 स्थान · 4 नोट
वही सवाल, जिसका जवाब अकेले Claude ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।
- 1Gemini 4 Carbon (Google)
यह Agents' Last Exam v1.1 पर 45.9% सख़्त पास और 77.4% स्कोर के साथ आगे है, और AutomationBench के 53.9% कार्य $2.12 प्रति कार्य पर पास करता है।
- 2Claude Opus 5.5 (Anthropic)
ALE v1.1 पर 43.4% के साथ दूसरे स्थान पर बराबरी पर है, पर AutomationBench में यह Medium पर $0.65 प्रति कार्य में 29.5% और Max पर 42.5% देता है। सेटिंग के हिसाब से फ़ासला बड़ा है।
स्रोत ↗ - 3GPT-6 Astra (OpenAI)
यह ALE v1.1 पर 42.6% स्कोर करता है, और AutomationBench पर कम प्रयास ($1.08 प्रति कार्य) पर 30.3% से लेकर max पर 41.4% तक जाता है।
स्रोत ↗ - 4Kimi 3.1 Pro / K3.1 (Moonshot)
एक ओपन-वेट परिवार का मॉडल ALE v1.1 पर 43.4% के साथ Opus 5.5 के बराबर रहा, जबकि उसका सहोदर Kimi K3 AutomationBench पर 12वें स्थान पर 22.7% पर है।
स्रोत ↗ - 5Gemini 4 Neon (Google)
यह $1.69 प्रति कार्य पर 56.3% के साथ AutomationBench पर शीर्ष पर है, और Carbon से प्रति कार्य सस्ता है।
स्रोत ↗ - 6GPT-5.5 with Codex (OpenAI)
यह मूल Agents' Last Exam पर 24.0% सख़्त पास के साथ शीर्ष पर था, और बाद की कवरेज में Codex को 26% पर उद्धृत किया गया है।
स्रोत ↗ - 7Claude Fable 5 with Claude Code (Anthropic)
मूल ALE पर यह 22.0% के साथ तीसरे स्थान पर रहा, दो GPT-5.5 सेटअपों के पीछे।
स्रोत ↗ - 8Gemini 4 Argon (Google)
यह ALE v1.1 पर 40.2% स्कोर करता है और एक दोबारा चलाए गए AutomationBench 1.0.6 स्नैपशॉट में 51.3% के साथ शीर्ष पर भी पहुँचता है।
स्रोत ↗ - 9Claude Sonnet 5.5 (Anthropic)
एक एग्रीगेटर इसे ALE v1.1 पर 60.4% बताता है, पर उसका कॉलम पास-दर की बजाय स्कोर जैसा लगता है।
स्रोत ↗ - 10Muse Wonder 1.0
ALE v1.1 पर 38.5% पास-दर के साथ शीर्ष समूह के बाद आता है।
स्रोत ↗
Claude ने क्या देखा
वही एजेंट परिवार सेटिंग के आधार पर AutomationBench पर लगभग 30% या 42% स्कोर कर सकता है, इसलिए सेटिंग मॉडल जितनी ही मायने रखती है।
पहले Agents' Last Exam पर सबसे कठिन स्तर की औसत सख़्त पास-दर 2.6% थी, और GPT-5.5 और Fable 5 सहित ज़्यादातर मॉडल शून्य पर रहे।
सख़्त पास और ग्रेड किया स्कोर दिखाते हैं कि आंशिक अंक कितना कुछ छिपा देते हैं: Gemini 4 Carbon ALE v1.1 के 45.9% कार्य सीधे पास करता है, पर औसत स्कोर 77.4% है।
लाइव ऑडिट पर 100 से ज़्यादा एजेंटों के एक रिपोर्ट किए गए KPMG परीक्षण को भी इंसानी सुधार चाहिए था, जो इन बेंचमार्क स्कोरों का वास्तविक दुनिया का समकक्ष है।
🇨🇳 MiMo10 स्थान · 4 नोट
वही सवाल, जिसका जवाब अकेले MiMo ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।
- 1GPT-6.2 Astra (OpenAI, 2026)
पहला मॉडल जिसे कभी स्व-सुधार क्षमता के लिए High रेटिंग मिली, और फिर भी वही जिसकी निगरानी इंसान सबसे बाद में करते हैं।
स्रोत ↗ - 2Claude Fable 5.2 (Anthropic, 2026)
Astra के साथ लगभग $8 पर कीमत बराबरी, और बेंचमार्क की दौड़ अब सेंट से तय होती है, दिमाग से नहीं।
स्रोत ↗ - 3GPT-6.2 Sol (OpenAI, 2026)
असली कोडबेस पर लगभग फ़्लैगशिप के बराबर, पाँचवें हिस्से की लागत पर। लॉन्च का मूल्य-प्रदर्शन सौदा।
स्रोत ↗ - 4EY multi-agent audit framework (EY Canvas)
सबसे उबाऊ किस्म का एजेंट जीतता है: वह जो उस सॉफ़्टवेयर में लगा है जिसे ऑडिटर पहले से इस्तेमाल करते हैं।
स्रोत ↗ - 5KPMG audit agent swarm (Project Exponential)
हर ऑडिट चरण में 100 से ज़्यादा एजेंट, और एक इंसानी सुधार उद्योग का सबसे कीमती डेटा-बिंदु है।
स्रोत ↗ - 6KPMG Clara Intelligence agents (US)
“मानव-आश्वस्त” उत्पाद के नाम में लिए शासित एजेंट, यानी निगरानी को मार्केटिंग का बिंदु बनाना।
स्रोत ↗ - 7PwC AI Agent Operating System
एजेंट की बजाय एक ऑर्केस्ट्रेशन परत, वह बुनियादी ढाँचा जिसमें दूसरे जाँचे जा सकने वाले एजेंट जोड़े जाएँगे।
स्रोत ↗ - 8AutomationBench agent harness (Zapier, benchmark)
47 असली टूल और जानबूझकर अस्पष्ट कार्य: दफ़्तरी काम के सबसे करीबी अभ्यास जैसा।
- 9Agents' Last Exam harness (UC Berkeley RDI)
एकमात्र सार्वजनिक परीक्षा जो एकल सवालों की बजाय छिपे उत्तरों वाले पूरे बहु-दिवसीय पेशेवर काम को ग्रेड करती है।
- 10KPMG Ignite Financial Assistant (Workday/Google Cloud)
महीने के अंत के खाता-बंद करने का सहायक: संकीर्ण, जाँचने योग्य, और ज़्यादातर डेमो से असली वित्त कार्य के ज़्यादा करीब।
स्रोत ↗
MiMo ने क्या देखा
नई दौड़ अब दिमाग की नहीं, बल्कि पूरे किए गए हर काम की लागत की है। Astra प्रति कार्य अपने पूर्ववर्ती के एक-तिहाई से भी कम खर्च करता है, और Sol असली कोडबेस पर फ़्लैगशिप के बराबर है, पाँचवें हिस्से की कीमत पर।
लॉन्च की सबसे सुरक्षा-प्रासंगिक संख्या स्कोर नहीं, एक रेटिंग है: Astra पहला मॉडल है जिसे स्व-सुधार क्षमता के लिए High रेटिंग मिली।
बेंचमार्क और हकीकत जान-बूझकर अलग हैं: Agents' Last Exam और AutomationBench सिम्युलेटेड कार्यों को ग्रेड करते हैं, जबकि एकमात्र पूरा लाइव पेशेवर परीक्षण (KPMG) इंसानी सुधार चाहता था।
एक स्वतंत्र लीडरबोर्ड (AutomationBench-AA) ठीक इसलिए मौजूद है क्योंकि बेंचमार्क का अपना निर्माता भी एजेंट बेचता है। यह एक शासन-मॉडल है जिसे दूसरी लैब्स अपना रही हैं।
🇨🇳 Kimi10 स्थान · 3 नोट
वही सवाल, जिसका जवाब अकेले Kimi ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।
- 1Claude Opus 5.5 (Claude Code)
सबसे सख़्त पेशेवर-काम परीक्षा (Agents' Last Exam पर 38.2% पास, 63.2% स्कोर) और GDPval-AA (68.3%) में आगे है, $1,340 और 183 घंटे की कंप्यूट लागत पर।
स्रोत ↗ - 2GPT-6 Astra (Codex harness)
Agents' Last Exam पर दूसरे स्थान पर (34.2%), अपनी श्रेणी में सबसे अच्छा कंप्यूटर-उपयोग अंक (OSWorld 2.0 पर 72.6%, लगभग 40 मिनट प्रति कार्य), और समान इंडेक्स स्कोर पर Claude की प्रति-कार्य कोडिंग लागत का आधा।
स्रोत ↗ - 3Gemini 4 Carbon
सबसे सख़्त वर्कफ़्लो ग्रेडर का चैंपियन: AutomationBench पर 53.9% Zapier द्वारा 657 असली व्यावसायिक कार्यों पर दर्ज सबसे ऊँची पास-दर है।
- 4Claude Fable 5.2 (with default fallbacks)
एक ही रिलीज़ में अपने पूर्ववर्ती को दोगुना किया: AutomationBench पर 22.4% से 51.4%, प्रति कार्य 96.9 टूल कॉल के साथ, अधिकतम प्रयास पर $9.01 प्रति असली पास पर।
- 5GPT-6.2 Astra
कहीं भी सबसे ऊँचा स्व-रिपोर्ट किया पेशेवर-काम आँकड़ा रखता है, ALE v1.1 पर 77.6%। पर यह लैब का अपना Max-प्रयास रूब्रिक रन है, वह सख़्त पास दर नहीं जिस पर बाकी ग्रेड होते हैं।
स्रोत ↗ - 6Gemini 4 Hydrogen
मूल्य का मोर्चा: AutomationBench पर $0.82 प्रति कार्य में 51.1%, और कम प्रयास पर भी $0.18 में 30.6% पास करता है। जाँचे गए मॉडलों में कुछ भी एक साथ सस्ता और ज़्यादा सटीक नहीं है।
- 7Claude Sonnet 5.5
अपने बड़े सहोदर Opus 5.5 को AutomationBench पर हराता है (44.6% बनाम 40.0%), लागत के एक अंश पर। इसका सबसे साफ़ सबूत कि कीमत प्रदर्शन की भविष्यवाणी नहीं करती।
- 8GPT-6 Sol
मूल्य का कार्यघोड़ा: Agents' Last Exam पर 32.2% सख़्त पास, कुल $318 में (Astra के $1,100 के मुकाबले), और AutomationBench स्कोर का लगभग 80%, Astra की लागत के लगभग छठे हिस्से में।
- 9MiniMax M3.1 Flash
समीकरण बदलने वाला: Agents' Last Exam पर 29.6%, कुल $91.44 में, यानी लीडर के खर्च का लगभग 7%। बेंचमार्क के मध्य-स्तरीय कार्यों पर यह 46.3% तक उछल जाता है।
स्रोत ↗ - 10Kimi K3
पेशेवर-काम परीक्षा पर सबसे अच्छा ओपन-वेट एजेंट पैकेज (अपने Kimi Code हार्नेस में 28.3% सख़्त पास), और AutomationBench पर $0.43 प्रति कार्य।
स्रोत ↗
Kimi ने क्या देखा
सबसे कठिन काम अब भी अछूता है: Agents' Last Exam के सबसे कठिन स्तर पर, यानी वे कार्य जिन्हें विशेषज्ञ इंसानों को दिनों से हफ़्तों लगते हैं, परखे गए हर फ़्रंटियर एजेंट, उस समय के सबसे नए फ़्लैगशिप सहित, 0% पर रहे। लीडरबोर्ड का लगभग 38% शीर्ष पास-दर पूरे कार्य-सेट पर है, कठिन सिरे पर नहीं।
शीर्ष पर पैसा हैरानी की हद तक कम खरीदता है: ALE रन की लागत परिमाण के एक क्रम में फैली है (जून की जाँच में प्रति पूरे किए कार्य लगभग $1.33–$15.70), और MiniMax M3.1 Flash लीडर के सख़्त पास दर का लगभग 77% लीडर के कुल खर्च के लगभग 7% ($91 बनाम $1,340) में हासिल करता है।
सख़्त पास दरें सबको विनम्र रखती हैं: 657-कार्य AutomationBench पर सबसे अच्छा स्कोर 53.9% है, और TheAgentCompany के सिम्युलेटेड कार्यस्थल में सबसे मज़बूत मॉडल पेशेवर कार्यों का लगभग 30% ही पूरी तरह करता है। “उपयोगी एजेंट यहाँ हैं; नौकरी-तैयार एजेंट नहीं।”
🇨🇳 DeepSeek10 स्थान · 3 नोट
वही सवाल, जिसका जवाब अकेले DeepSeek ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।
- 1Gemini 4 Carbon (ALE-Claw)
ALE पर 45.9% सख़्त पास और 77.4% स्कोर के साथ सबसे आगे, फिर भी सबसे कठिन स्तर पर 100% बार विफल होता है।
स्रोत ↗ - 2Claude Fable 5.2 / 5.1 (Claude Code)
असली फ़्रीलांस नौकरियों का 41.25% पूरा करता है, Opus 5.5 से दोगुने से भी ज़्यादा, ALE के $15.70+ प्रति कार्य पर।
- 3GPT-6 Astra (Codex)
80 घंटे और 5.1 मिलियन टोकन में 42.6% ALE पास: शीर्ष-तीन ALE एजेंटों में दक्षता में अग्रणी।
स्रोत ↗ - 4Claude Opus 5.5 (Claude Code)
DAYJOB के 13–17 घंटे के पेशेवर कार्यों पर सबसे अच्छा, स्वास्थ्य-सेवा में 24.7%, पर ALE पर 177 घंटे।
स्रोत ↗ - 5Kimi 3.1 Pro (Kimi Code)
61 घंटों में 43.4% ALE पास, समान स्कोर पर Opus 5.5 और Fable 5.2 से तेज़।
स्रोत ↗ - 6Gemini 4 Argon (ALE-Claw)
$1.70 प्रति कार्य पर AutomationBench पर 51.3% सख़्त पास, सबसे अच्छा क्रॉस-एप्लिकेशन वर्कफ़्लो एजेंट।
स्रोत ↗ - 7GPT-6 Sol (Codex)
$0.27 प्रति कार्य पर AutomationBench पास 33.2%, सबसे सस्ता भरोसेमंद वर्कफ़्लो एजेंट।
स्रोत ↗ - 8Claude Sonnet 5.5
$1.14 पर AutomationBench सख़्त पास 44.7%, लीडर से 6.6 अंक पीछे, पर 33% सस्ता।
स्रोत ↗ - 9Gemini 3.5 Flash
$0.49 प्रति कार्य पर AutomationBench-AA 42.6% और प्रति कार्य 0.46 गार्डरेल उल्लंघन, सबसे सस्ता और कुछ हद तक सुरक्षित विकल्प।
स्रोत ↗ - 10DeepSeek V4.1 Flash (OpenClaw)
76 घंटों में 36.1% ALE पास, ओपन-वेट विकल्प, 65.4% आंशिक स्कोर के साथ।
स्रोत ↗
DeepSeek ने क्या देखा
ALE का सबसे कठिन स्तर अब भी 0% की दीवार है: परखा गया हर फ़्रंटियर एजेंट, Fable 5 सहित, सबसे कठिन स्तर का हर कार्य विफल करता है। मूल ALE पर सबसे अच्छा समग्र एजेंट केवल 25.2% पास करता है, जबकि Terminal-Bench पर 82%। पेशेवर-काम का अंतर कोडिंग के अंतर से कहीं चौड़ा है।
ApprenticeBench लागत और निगरानी की सबसे साफ़ तुलना है: एक असली देय खाते (accounts payable) के काम पर Fable 5.1 सबसे अच्छे इंसानी परीक्षक को 72% बनाम 51% से हराता है, पर प्रति इनवॉइस $18.23 बनाम इंसान के $7.21 पर। एजेंट गुणवत्ता में जीतता है और प्रति-इकाई गणित में हारता है।
AutomationBench-AA पर हर मॉडल व्यावसायिक नियम तोड़ता है। सबसे सुरक्षित मॉडल भी लगभग हर 15 पूरे किए उद्देश्यों पर एक गार्डरेल तोड़ता है, और सबसे खराब हर 0.8 उद्देश्यों पर एक। मौजूदा भरोसेमंदी पर इंसानी समीक्षा वैकल्पिक नहीं है।
🇨🇳 Qwen10 स्थान · 3 नोट
वही सवाल, जिसका जवाब अकेले Qwen ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।
- 1Claude Fable 5.2
SWE-bench Verified पर 95% में शीर्ष पर है, और Arena के असली-दुनिया कार्य Pareto फ़्रंटियर पर $11.32 प्रति कार्य पर।
स्रोत ↗ - 2GPT-6.2 Astra
2.6 मिलियन आउटपुट टोकन पर 47.5% सख़्त पास और 78.3% ग्रेड किए स्कोर के साथ Agents' Last Exam v1.1 में आगे है।
स्रोत ↗ - 3Qwen3.8 Max
OSWorld-Verified पर 86.1% स्कोर करता है, खुले कंप्यूटर-उपयोग कार्यों के लिए मानव आधार-रेखा से आगे।
स्रोत ↗ - 4Claude Opus 5.5
SWE-bench Verified पर 97% (Mini-SWE-agent के साथ) देता है, और Arena के कार्य लीडरबोर्ड पर बस $8.06 प्रति कार्य खर्च करता है।
स्रोत ↗ - 5Gemini 4 Neon
स्वतंत्र Artificial Analysis AutomationBench-AA लीडरबोर्ड पर सिम्युलेटेड SaaS वर्कफ़्लो पर 79.3% स्कोर के साथ शीर्ष पर है।
स्रोत ↗ - 6MiniMax M3.1 Flash
Zapier के आधिकारिक AutomationBench पर बहु-चरणीय व्यावसायिक स्वचालन कार्यों में 62.2% पूर्णता दर के साथ आगे है।
स्रोत ↗ - 7ERNIE 5.5 Flash Preview
कुशलता से CRM और कैलेंडर की क्रॉस-एप्लिकेशन अस्पष्टता संभालकर Zapier के AutomationBench पर 61.9% स्कोर करता है।
स्रोत ↗ - 8Devin (SWE-1.7 / SWE-2)
Cognition का स्वायत्त सॉफ़्टवेयर इंजीनियर Terminal-Bench 2.1 पर 81.5% और SWE-bench Multilingual पर 77.8% स्कोर करता है।
स्रोत ↗ - 9Lindy.ai
बिना-कोड AI कर्मचारी बिल्डर $29.99 से $199.99 प्रति माह है, पर उपयोगकर्ता G2 पर 4.9 स्टार और Trustpilot पर 1.7 के बीच बँटे हैं।
- 10Relevance AI
“AI Factories” पर केंद्रित, जहाँ ऑपरेशनल टीमें बिना कोड लिखे खुद-सुधरते एजेंट कार्यबल बनाती हैं।
स्रोत ↗
Qwen ने क्या देखा
Agents' Last Exam पर मुख्यधारा के AI एजेंट शुरू में असली पेशेवर कार्यों का केवल 2.6% पास करते थे, पर नवीनतम v1.1 लीडरबोर्ड दिखाता है कि GPT-6.2 Astra 47.5% सख़्त पास दर तक पहुँच गया है।
Arena जैसे असली-दुनिया कार्य लीडरबोर्ड दिखाते हैं कि सबसे अच्छा प्रदर्शन करने वाले एजेंट (जैसे $11.32 प्रति कार्य पर Claude Fable 5.2) पूरे किए गए हर कार्य पर पुराने मॉडलों (जैसे $8.06 पर Claude Opus 5.5) से वास्तव में महँगे हैं।
Zapier के AutomationBench में आधिकारिक होस्टेड स्कोर (MiniMax 62.2%) और स्वतंत्र मूल्यांकन (AA AutomationBench पर Gemini 4 Neon 79.3%) के बीच बड़ा अंतर है। यानी बेंचमार्क कैसे चलाया जाता है, वह मॉडल जितना ही मायने रखता है।
🇨🇳 Qianwen10 स्थान
वही सवाल, जिसका जवाब अकेले Qianwen ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।
- 1ChatGPT Work
एकीकृत टूल-निष्पादन के साथ Agents' Last Exam पर शीर्ष सख़्त पास दर।
स्रोत ↗ - 2Claude Cowork
लंबे-क्षितिज दस्तावेज़ वर्कफ़्लो पर सबसे ऊँचा ग्रेड किया स्कोर।
- 3Microsoft Copilot Studio
सत्यापित व्यावसायिक कार्यों के लिए M365 के साथ सबसे अच्छा एंटरप्राइज़ एकीकरण।
- 4Gemini Agent
क्रॉस-ऐप वर्कफ़्लो में मज़बूत मल्टीमॉडल प्रदर्शन।
- 5Codex
पेशेवर डेवलपमेंट कार्यों में अग्रणी कोड जनरेशन और डीबगिंग।
स्रोत ↗ - 6Manus
शोध कार्यों में उच्च स्वायत्तता, पर इंसानी सत्यापन ज़रूरी।
- 7Cursor
IDE-एकीकृत कोडिंग के लिए अनुकूलित, कम विलंब के साथ।
- 8WorkBuddy
नियमित दफ़्तरी स्वचालन के लिए लागत-प्रभावी, मध्यम सटीकता के साथ।
- 9OpenClaw
ओपन-सोर्स विकल्प, उच्च अनुकूलन-क्षमता पर कम पास दरों के साथ।
स्रोत ↗ - 10Antigravity
सॉफ़्टवेयर निर्माण के लिए विशेष, पर व्यावसायिक वर्कफ़्लो में सीमित।