आज के ट्रेंड पर वापस: मेटा का दावा: उसका सस्ता AI एंथ्रोपिक के बराबर है, पर खर्च एक-तिहाई
Poly रेटिंग · आज के ट्रेंड से

AI एजेंट के लिए सबसे अच्छा मॉडल 2026: ऑफिस का काम बनाम कोड

Muse Ember ऑफिस वर्कफ़्लो के 68.1% लक्ष्य पूरे करता है, जबकि Claude Haiku 5.5 के 35.4%। फिर भी Haiku के पैच मेंटेनरों के टेस्ट ज़्यादा बार पास होते हैं: 34.9% बनाम 27.2%।

  • नंबर 1: मेटा Muse Ember
  • 10 स्थान

01अंतिम सूची

अग्रणी AI ने स्वतंत्र रूप से अपनी-अपनी दस स्थानों की सूची बनाई। यहाँ एक आसानी से जाँचा जा सकने वाला नतीजा है: हर स्थान का कारण, स्रोत और उसे शामिल करने वाले AI की सूची है।

क्रम: सबसे अधिक AI सहमति से सबसे कम तक।

चमकीला बैज: इस AI ने प्रविष्टि अपनी सूची में रखी। फीका बैज: नहीं रखी।

  1. 1

    मेटा Muse Ember

    इसे ऑफिस के चरण दीजिए: यह वर्कफ़्लो के 68.1% लक्ष्य पूरे करता है, Haiku के 35.4% के मुकाबले। आख़िरी मर्ज में इसे न लगाएँ, जहाँ यह 27.2% स्कोर करता है और Haiku 34.9%।

    शामिल किया: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek, Qwen. शामिल नहीं किया: Gemini, Wenxin.

    उनकी सूचियों में: Claude: 1 · ChatGPT: 1 · Meta: 5 · Grok: 1 · Z.ai: 3 · Kimi: 2 · DeepSeek: 1 · Qwen: 2

    हर AI ने क्या नोट किया 8
    • Claudeस्थान 1

      AutomationBench-AA पर 37.8% के साथ ऑफ़िस काम जीतता है (Haiku 13.9%), पर कोड में हारता है: FrontierCode 2.0 पर 27.2% बनाम 34.9%।

      स्रोत ↗
    • ChatGPTस्थान 1

      ऑफ़िस का विशेषज्ञ: वर्कफ़्लो-लक्ष्य पूरा होने में 68.1%, पर मर्ज-योग्यता पर आधारित कोडिंग मूल्यांकन में केवल 27.2%।

      स्रोत ↗
    • Metaस्थान 5

      टर्मिनल-पहले: मेटा की तालिका में Terminal-Bench पर 40.9%, FrontierCode-AA पर 27.2%। AA के AutomationBench 24-मॉडल सूची में ऑफ़िस स्कोर नहीं मिला।

      स्रोत ↗
    • Grokस्थान 1

      ऑफ़िस के कदम इसे दें: वर्कफ़्लो लक्ष्यों का 68.1%, फिर इसे अंतिम मर्ज से दूर रखें।

      स्रोत ↗
    • Z.aiस्थान 3

      एक ही मॉडल में ऑफ़िस और कोड का विभाजन: AA के वर्कफ़्लो रन पर 68.1% (मेटा की सख़्त तालिका कहती है 37.8), टर्मिनल पर Haiku से जीत 40.9% बनाम 32.8%। और मर्ज-योग्य कोड पर Haiku से हार 27.2% बनाम 34.9%।

      स्रोत ↗
    • Kimiस्थान 2

      ऑफ़िस वर्कफ़्लो के 37.8% पूरे करता है, Haiku की दर का 2.7 गुना। पर मेंटेनर-मर्ज परीक्षण उलट देता है: 27.2% बनाम Haiku का 34.9%।

      स्रोत ↗
    • DeepSeekस्थान 1

      एकमात्र सस्ता मॉडल जो व्यावसायिक वर्कफ़्लो (37.8% सख़्त) में शीर्ष स्तर पर है और टर्मिनल कार्य (40.9%) में भी प्रतिस्पर्धी, हालाँकि इसके केवल 27.2% कोड पैच मर्ज होंगे।

      स्रोत ↗
    • Qwenस्थान 2

      दोहराए जाने वाले API कॉल और रूटिंग के लिए बना, जो एजेंट दिन भर करते हैं।

      स्रोत ↗
    8 AI ने इसे यहाँ रखा
  2. 2

    Claude Haiku 5.5

    कोड छूने देने वाला सस्ता मॉडल: Artificial Analysis के FrontierCode रन पर 34.9%, हालाँकि कॉग्निशन का अपना बोर्ड 27.7% देता है। ऑफिस के काम में यह सिर्फ 35.4% पूरा करता है।

    शामिल किया: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek, Qwen. शामिल नहीं किया: Gemini, Wenxin.

    उनकी सूचियों में: Claude: 2 · ChatGPT: 2 · Meta: 4 · Grok: 2 · Z.ai: 5 · Kimi: 1 · DeepSeek: 2 · Qwen: 4

    हर AI ने क्या नोट किया 8
    • Claudeस्थान 2

      कोड का चुनाव: छोटे समूह में FrontierCode 2.0 का सबसे अच्छा स्कोर (34.9%), फिर भी ऑफ़िस वर्कफ़्लो केवल 13.9% पूरे करता है।

      स्रोत ↗
    • ChatGPTस्थान 2

      ऑफ़िस-वर्कफ़्लो की प्रतियोगिता में यह Ember से हारता है, पर रिपोर्ट किए गए FrontierCode तुलना में उससे 7.7 अंक आगे है।

      स्रोत ↗
    • Metaस्थान 4

      सस्ता कोड का अग्रणी: FrontierCode 2.0 पर 27.7% और टर्मिनल पर 36%, पर ऑफ़िस वर्कफ़्लो पर केवल 35.4%।

      स्रोत ↗
    • Grokस्थान 2

      वह सस्ता मॉडल जिसे कोड छूना चाहिए: मर्ज के लायक 34.9%, ऑफ़िस टेस्ट पर सख़्त 13.9%।

      स्रोत ↗
    • Z.aiस्थान 5

      कोड छूने वाला: FrontierCode 2.0 पर 34.9% पैच मेंटेनर परीक्षण पास करते हैं, हर सस्ते प्रतिद्वंद्वी से लगभग दस अंक ऊपर। जबकि इसका ऑफ़िस स्कोर (35.4%) यहाँ सबसे कमज़ोर है।

      स्रोत ↗
    • Kimiस्थान 1

      छोटे मॉडलों में अकेला जो कोड वाले कॉलम में जीतता है: FrontierCode 2.0 पर 34.9%, Muse Ember से 7.7 अंक आगे। और Terminal-Bench पर 39.2% भी लेता है।

      स्रोत ↗
    • DeepSeekस्थान 2

      सस्ते वर्ग का मर्ज-योग्य कोडर: FrontierCode 2.0 पर 34.9%, पर ऑफ़िस वर्कफ़्लो पर केवल 13.9% सख़्त। यह कोड ठीक करेगा और स्प्रेडशीट को नज़रअंदाज़ करेगा।

      स्रोत ↗
    • Qwenस्थान 4

      Anthropic के सुरक्षा गार्डरेल इसे SaaS वर्कफ़्लो नियम तोड़ने से रोकते हैं।

    8 AI ने इसे यहाँ रखा
  3. 3

    डीपसीक V4.1 Flash

    ऑफिस के काम में 66.6% के साथ मज़बूत, लेकिन कॉग्निशन के कोड बोर्ड पर सिर्फ 19.3%। इसका टर्मिनल स्कोर अपने बताए 42.3% से गिरकर वैल्स के रन में 31.82% रह जाता है।

    शामिल किया: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek. शामिल नहीं किया: Gemini, Wenxin, Qwen.

    उनकी सूचियों में: Claude: 4 · ChatGPT: 5 · Meta: 8 · Grok: 5 · Z.ai: 4 · Kimi: 4 · DeepSeek: 3

    हर AI ने क्या नोट किया 7
    • Claudeस्थान 4

      Bito के समूह में सबसे अच्छा लंबे सत्र का कोडर (71.9%), 20-टर्न रन पर $2.17 में। AutomationBench-AA का कोई आँकड़ा नहीं मिला।

      स्रोत ↗
    • ChatGPTस्थान 5

      33 अंक का इंटेलिजेंस स्कोर और ओपन वेट्स आकर्षक हैं, पर कठिन मर्ज-योग्य काम पर FrontierCode गिरकर 19.3% रह जाता है।

      स्रोत ↗
    • Metaस्थान 8

      अपनी कीमत के लिए मज़बूत टर्मिनल, $0.54 पर 31.82%, पर कोड में कमज़ोर 19.3%। शेल का कार्यकर्ता, मर्ज करने वाला नहीं।

    • Grokस्थान 5

      Hermes बोर्ड पर यह $0.26 प्रति कार्य में 36.91 स्कोर करता है, Haiku के $0.49 में 37.00 के बगल में।

      स्रोत ↗
    • Z.aiस्थान 4

      ऑफ़िस वर्कफ़्लो पर 66.6% और खुद होस्ट करने के लिए खुले MIT वेट्स। पर इसकी टर्मिनल कहानी हार्नेस के साथ पलटती है: स्वयं बताया गया 42.3% बनाम वैल्स एआई के स्वतंत्र रन में 19.7%।

      स्रोत ↗
    • Kimiस्थान 4

      सबसे सस्ता गंभीर कोड विकल्प: FrontierCode 2.0 पर 19.3%, प्रति रोलआउट $0.38 पर। Terminal-Bench 42.3% (स्वयं बताया) / 33.8% (स्वतंत्र)।

      स्रोत ↗
    • DeepSeekस्थान 3

      टर्मिनल विशेषज्ञ: Terminal-Bench 4.0 पर 42.3% और AutomationBench v1.0.6 पर 60.5%, पर FrontierCode पर केवल 28%। कमांड चलाने में मज़बूत, मर्ज होने लायक पैच भेजने में कमज़ोर।

      स्रोत ↗
    7 AI ने इसे यहाँ रखा
  4. 4

    GPT-6 Luna

    ऑफिस के काम में औसत और टर्मिनल पर कमज़ोर: ऑफिस लक्ष्यों का 53.2% (सख्त गिनती में 20.2%), कोड पर 25.2%, और टर्मिनल टास्क में सिर्फ 16.4% हल।

    शामिल किया: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek. शामिल नहीं किया: Gemini, Wenxin, Qwen.

    उनकी सूचियों में: Claude: 6 · ChatGPT: 6 · Meta: 6 · Grok: 9 · Z.ai: 8 · Kimi: 7 · DeepSeek: 6

    हर AI ने क्या नोट किया 7
    • Claudeस्थान 6

      ऑफ़िस काम में बीच में (20.2%), और कोड (25.2%) व टर्मिनल कार्यों (16.4%) में तीनों लॉन्च प्रतिद्वंद्वियों में सबसे पीछे।

      स्रोत ↗
    • ChatGPTस्थान 6

      कम लागत वाला सहायक, Coding Agent Index पर 31 के साथ, पर आधिकारिक टर्मिनल-कार्य समाधान केवल 16.4%।

      स्रोत ↗
    • Metaस्थान 6

      संतुलित और सस्ता: ऑफ़िस 53.2% और कोड 21.9%। Haiku से बेहतर ऑफ़िस, Haiku से कमज़ोर कोड।

      स्रोत ↗
    • Grokस्थान 9

      सख़्त ऑफ़िस टेस्ट पर 20.2% और मर्ज टेस्ट पर 25.2% पर हारता है, जबकि इसकी स्टिकर कीमत Ember से मेल खाती है।

      स्रोत ↗
    • Z.aiस्थान 8

      इसका ऑफ़िस स्कोर इस पर निर्भर होकर लगभग तिगुना हो जाता है कि कौन स्कोर कर रहा है: मेटा की एकल-प्रयास तालिका में 20.2%, AA के मानक रन पर 53.2%। और कॉग्निशन के बोर्ड पर मर्ज-योग्यता 23.8% है।

      स्रोत ↗
    • Kimiस्थान 7

      एक ही मॉडल में ऑफ़िस-बनाम-कोड विभाजन: व्यावसायिक वर्कफ़्लो पर मज़बूत (एक AA रन में AutomationBench-AA 53%, मेटा के सख़्त चार्ट में 20.2%), पर Terminal-Bench पर 16.4%।

      स्रोत ↗
    • DeepSeekस्थान 6

      प्रति कार्य कम बिल ($0.15) कमज़ोर ऑफ़िस और टर्मिनल परिणाम छिपाता है: AutomationBench सख़्त पर 20.2%, Terminal-Bench पर 16.4%, और FrontierCode पर 25.2%।

      स्रोत ↗
    7 AI ने इसे यहाँ रखा
  5. 5

    मिनीमैक्स M3.1 Flash

    सस्ते मॉडलों में ऑफिस का सबसे अच्छा स्कोर, 72.5%। इसका टर्मिनल स्कोर अपने बताए 38.1% से गिरकर वैल्स के रन में 25.25% हो जाता है: इसे ऐप्स के लिए इस्तेमाल करें, शेल के लिए नहीं।

    शामिल किया: Claude, Meta, Grok, Z.ai, Kimi, DeepSeek. शामिल नहीं किया: ChatGPT, Gemini, Wenxin, Qwen.

    उनकी सूचियों में: Claude: 5 · Meta: 2 · Grok: 7 · Z.ai: 2 · Kimi: 5 · DeepSeek: 5

    हर AI ने क्या नोट किया 6
    • Claudeस्थान 5

      Bito के 20-टर्न सत्रों में 75.0% तक पहुँचता है, जो Haiku 5.5 के लगभग बराबर है, पर हर रन में 3 से 5 घंटे लगते हैं।

      स्रोत ↗
    • Metaस्थान 2

      ऑफ़िस के लक्ष्यों का 72.5% पूरा, सस्ते मॉडलों में सबसे अच्छा ऑफ़िस स्कोर, साथ में 25% टर्मिनल स्कोर।

      स्रोत ↗
    • Grokस्थान 7

      लॉन्च का टर्मिनल आँकड़ा, 38.1%, और साझा हार्नेस का आँकड़ा, 25.25%, एक ही टेस्ट नहीं हैं।

      स्रोत ↗
    • Z.aiस्थान 2

      ऑफ़िस-वर्कफ़्लो लक्ष्यों का 72.5%, AA के 249 मॉडलों में Gemini 4 Carbon के बाद दूसरा। जबकि वैल्स एआई ने इसे प्रति टर्मिनल टेस्ट केवल $0.21 का बिल दिया, जो इस वर्ग में सबसे सस्ता पूरा-कार्य बिल है।

      स्रोत ↗
    • Kimiस्थान 5

      Terminal-Bench 4.0 पर 38.1%, उसी लगभग $0.60 आउटपुट कीमत पर Luna से 22 अंक ऊपर। अब तक कोई ऑफ़िस या मर्ज-कोड आँकड़े प्रकाशित नहीं।

      स्रोत ↗
    • DeepSeekस्थान 5

      सस्ते सेट का ऑफ़िस-वर्कफ़्लो चैंपियन: AutomationBench-AA पर 72.5%, पर FrontierCode पर केवल 21% और Terminal-Bench पर 26%। इसे स्प्रेडशीट दीजिए, पुल रिक्वेस्ट नहीं।

      स्रोत ↗
    6 AI ने इसे यहाँ रखा
  6. 6

    GLM-5.3-Flash

    ऑफिस की कतार के लिए 60.4% वाला ओपन-वेट्स मॉडल, जिसका मर्ज-योग्य कोड कॉग्निशन के बोर्ड पर 14.2% और Artificial Analysis के रन में 17.6% पर आता है।

    शामिल किया: ChatGPT, Grok, Kimi, DeepSeek. शामिल नहीं किया: Claude, Meta, Gemini, Z.ai, Wenxin, Qwen.

    उनकी सूचियों में: ChatGPT: 4 · Grok: 3 · Kimi: 6 · DeepSeek: 7

    हर AI ने क्या नोट किया 4
    • ChatGPTस्थान 4

      Flash मॉडल के लिए 35.8% टर्मिनल समाधान, पर मेंटेनर-गुणवत्ता वाले कोडिंग बेंचमार्क पर केवल 14.2%।

      स्रोत ↗
    • Grokस्थान 3

      ऑफ़िस की कतार के लिए एक ओपन मॉडल, 60.4% पर, मर्ज के लायक कोड 17.6% पर नीचे।

      स्रोत ↗
    • Kimiस्थान 6

      प्रति कार्य $0.36 पर Terminal-Bench 4.0 पर 35.8%: वह कीमत-प्रदर्शन बिंदु जहाँ सस्ता टर्मिनल काम भरोसेमंद होने लगता है।

      स्रोत ↗
    • DeepSeekस्थान 7

      AutomationBench पर 60% स्कोर इसे विश्वसनीय ऑफ़िस-स्टेप रनर बनाता है, पर FrontierCode पर 15% और Terminal-Bench पर 33% इसे रिपॉज़िटरी के काम से दूर रखते हैं।

      स्रोत ↗
    4 AI ने इसे यहाँ रखा
  7. 7

    Gemini 3.8 Flash

    ऑफिस लक्ष्यों का 59.9% पूरा करता है, पर टर्मिनल टास्क का सिर्फ लगभग 19%। वैल्स ने प्रति टर्मिनल टेस्ट $8.65 लिया, जो बजट वर्ग में सबसे ऊँचा बिल है।

    शामिल किया: ChatGPT, Meta, Z.ai, DeepSeek. शामिल नहीं किया: Claude, Grok, Gemini, Kimi, Wenxin, Qwen.

    उनकी सूचियों में: ChatGPT: 7 · Meta: 3 · Z.ai: 7 · DeepSeek: 9

    हर AI ने क्या नोट किया 4
    • ChatGPTस्थान 7

      मल्टीमॉडल 10 लाख-टोकन वाला सहायक, फिर भी इसके परखे गए हार्नेस में आधिकारिक टर्मिनल कार्यों का केवल 19.1% हल हुआ।

      स्रोत ↗
    • Metaस्थान 3

      ऑफ़िस 59.9%, टर्मिनल 19.7%। MiniMax जैसा ही विभाजन, पर कहीं ज़्यादा मापी गई कार्य-लागत पर।

      स्रोत ↗
    • Z.aiस्थान 7

      ऑफ़िस वर्कफ़्लो पर 59.9%, और इंटेलिजेंस के प्रशंसक इसकी तुलना Opus-स्तर से करते हैं। पर उसी मॉडल पर वैल्स एआई ने प्रति टर्मिनल टेस्ट $8.65 खर्च किए, जो बजट वर्ग में पूरे-कार्य का सबसे बड़ा बिल है।

      स्रोत ↗
    • DeepSeekस्थान 9

      उच्च प्रयास पर 60% AutomationBench स्कोर, पर FrontierCode पर केवल 19% और Terminal-Bench पर 20%। याद दिलाता है कि ऑफ़िस की दक्षता मर्ज-योग्य कोड में अपने-आप नहीं आती।

      स्रोत ↗
    4 AI ने इसे यहाँ रखा
  8. 8

    थिंकिंग मशीन्स Inkling 2 Small

    एक ही स्रोत के अनुसार ऑफिस के काम में यह 46% तक उछला है, और कोड 22.6% से बढ़कर 25% पर है। यह टर्मिनल टास्क का सिर्फ 12.63% हल करता है।

    शामिल किया: Claude, ChatGPT. शामिल नहीं किया: Meta, Grok, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen.

    उनकी सूचियों में: Claude: 3 · ChatGPT: 8

    हर AI ने क्या नोट किया 2
    • Claudeस्थान 3

      बताया गया है कि AutomationBench-AA पर अपने पूर्ववर्ती से 5% से 46% तक उछला, जबकि Terminal-Bench 4.0 लगभग 13% पर रहता है।

      स्रोत ↗
    • ChatGPTस्थान 8

      इसका 22.6% FrontierCode स्कोर सम्मानजनक है, पर $1.18 का इंडेक्स कार्य और धीमी पूर्ति एजेंट-अर्थशास्त्र को कमज़ोर करते हैं।

      स्रोत ↗
    2 AI ने इसे यहाँ रखा
  9. 9

    Qwen3.8 Flash

    इसका ऑफिस स्कोर 55.9% है, यानी उसी Artificial Analysis पन्ने पर इसके 25.3% टर्मिनल स्कोर से 30 अंक ऊपर। ये आंकड़े सिर्फ एक स्रोत बताता है।

    शामिल किया: Grok. शामिल नहीं किया: Claude, ChatGPT, Meta, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen.

    उनकी सूचियों में: Grok: 4

    हर AI ने क्या नोट किया 1
    • Grokस्थान 4

      ऑफ़िस काम 55.9% पर, उसी कार्ड पर अपने टर्मिनल स्कोर से 30 अंक ऊपर।

      स्रोत ↗
    1 AI ने इसे यहाँ रखा
  10. 10

    Qwen3.8-27B

    स्क्रीन पर डेस्कटॉप के काम का विशेषज्ञ, टर्मिनल का नहीं: OSWorld-Verified पर 84.3%, पर Terminal-Bench 4.0 पर सिर्फ 5.1%, और ऑफिस के काम में 48.2%। ये आंकड़े सिर्फ एक स्रोत बताता है।

    शामिल किया: Z.ai. शामिल नहीं किया: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek, Wenxin, Qwen.

    उनकी सूचियों में: Z.ai: 9

    हर AI ने क्या नोट किया 1
    • Z.aiस्थान 9

      छोटे वर्ग का GUI विशेषज्ञ: OSWorld-Verified पर 84.3% (समग्र चौथा) बनाम Terminal-Bench 4.0 पर 5.1%। डेस्कटॉप ऐप्स हाँ, कंटेनर वाले टर्मिनल नहीं।

      स्रोत ↗
    1 AI ने इसे यहाँ रखा

शीर्ष तीन के बारे में और ↓

02शीर्ष तीन के बारे में और

रैंकिंग ऊपर है। यहाँ शीर्ष तीन स्थानों के बारे में और जानकारी है: वे क्या हैं, यहाँ क्यों हैं, और क्या जानना उपयोगी है।

तीनों की तुलना अलग-अलग टेस्ट पर हुई है: Ember का 68.1% और डीपसीक का 66.6% ऑफिस वर्कफ़्लो के रनों से आया है, और Haiku का 35.4% उसी ऑफिस पैमाने से। कोड और टर्मिनल के स्कोर दूसरे बेंचमार्क से हैं, और कुछ स्वयं-घोषित हैं या स्वतंत्र

1मेटा Muse Ember

नं. 1 — मेटा Muse Ember. 10 में से 8 AI की सूचियों में; वहाँ मध्य स्थान: 1.5. AI इसे पहले स्थान पर रखते हैं, क्योंकि यह Haiku से कहीं ज़्यादा ऑफिस वर्कफ़्लो के कदम पूरे करता है, भले ही मर्ज के लिए तैयार कोड में पीछे रह जाता है।

क्या आप जानते हैं

  • Muse Ember, मेटा के Muse परिवार का सबसे छोटा मॉडल है। इसे एक बड़े योजनाकार, Muse Wonder, के साथ चलाने के लिए बनाया गया है। मेटा की पंक्ति है: “Muse Wonder योजना बनाता है, Muse Ember ज़्यादा काम संभालता है।” इसके वज़न (weights) सार्वजनिक नहीं किए गए हैं।

    स्रोत ↗ ✓ कई AI ने पुष्टि की
यह क्या है
मेटा का सबसे छोटा, सबसे सस्ता Muse मॉडल, जो छोटे, बार-बार दोहराए जाने वाले एजेंट कामों के लिए बना है।
इसकी बढ़त
यह ऑफिस वर्कफ़्लो के 68.1% लक्ष्य पूरे करता है, जो Haiku के 35.4% से कहीं ऊपर है।
किसके लिए सही
ऑफिस-शैली के एजेंट काम के लिए ठीक; ऐसे कोड के लिए नहीं जिसे मर्ज करना हो।
  • ऑफिस वर्कफ़्लो के लक्ष्य पूरे हुएऑफिस लक्ष्यों का 68.1%
यह यहाँ क्यों है
  • मेटा के लंबे डेस्कटॉप-वर्कफ़्लो परीक्षण (OSWorld 2.1) में Ember को 69.5% आंशिक अंक मिले हैं। Claude Haiku 5.5 को 68.9%। यह लगभग बराबरी है, इसलिए इस पैमाने पर Ember की ऑफ़िस-कार्य में बढ़त छोटी है।

  • पूरी तरह पूरे हुए कार्यों में Ember 33.8% पूरा करता है, जबकि Haiku 27.8%, The New Stack के अनुसार। इसकी बढ़त तब दिखती है जब आप केवल शुरू से अंत तक पूरे हुए कार्य गिनें।

क्या आप जानते हैं
  • Ember की कीमत $0.10 प्रति मिलियन इनपुट टोकन और $0.50 प्रति मिलियन आउटपुट टोकन है। फिर भी इसकी 1M-टोकन कॉन्टेक्स्ट विंडो है और यह इमेज इनपुट लेता है। यह Muse का चौथा मॉडल है, Spark, Glimmer और Wonder के बाद।

ध्यान रखें
  • Ember 9 नवंबर 2026 को एक छोटे, सस्ते मॉडल के रूप में लॉन्च हुआ, इसलिए अब तक की कवरेज मुख्यतः मेटा के अपने बेंचमार्क पर टिकी है। अभी तक कोई स्वतंत्र उपयोगकर्ता समीक्षा नहीं मिली है। शुरुआती स्कोर को निर्माता के दावे मानें।

आगे कहाँ देखें
  • ब्लॉग खोलें और 'Try Muse' बटन से Muse Ember आज़माएँ। सबसे पहले परिचय के ठीक बाद वाला 'Intelligence vs. Cost Per Task' चार्ट देखें। ये संख्याएँ मेटा की अपनी हैं, इसलिए उन्हें स्वतंत्र परीक्षणों से मिलाकर देखें।

शीर्ष तीन की तुलना करें ↓

2Claude Haiku 5.5

नं. 2 — Claude Haiku 5.5. 10 में से 8 AI की सूचियों में; वहाँ मध्य स्थान: 2. AI इसे दूसरे स्थान पर रखते हैं: यह सस्ता मॉडल है जिस पर कोड के लिए भरोसा किया जा सकता है, क्योंकि इसके ज़्यादा पैच मेंटेनर्स के टेस्ट पास करते हैं, भले ही ऑफिस स्कोर कमज़ोर हैं।

यह क्या है
Anthropic का छोटा, कम लागत वाला मॉडल, Claude 5.5 परिवार का।
इसकी बढ़त
इसके कोड पैच मेंटेनर्स के टेस्ट ज़्यादा बार पास करते हैं: 34.9%, जबकि Ember का 27.2%।
किसके लिए सही
कोड सुधार और पैच के लिए ठीक; ऑफिस वर्कफ़्लो के लिए सबसे अच्छा चुनाव नहीं।
  • ऑफिस वर्कफ़्लो के लक्ष्य पूरे हुएऑफिस लक्ष्यों का 35.4%

Wikidata

यह यहाँ क्यों है
  • मेटा के नतीजों के पन्ने पर OSWorld 2.1 के ऑफ़िस-शैली वर्कफ़्लो में Claude Haiku 5.5 को 68.9% आंशिक अंक मिले हैं। Ember 69.5% पर है, इसलिए डेस्कटॉप कार्यों में Haiku पीछे-पीछे बना रहता है।

  • उसी परीक्षण में पूरी तरह पूरा होना अलग गिना जाता है। Haiku 27.8% कार्य पूरी तरह पूरे करता है, जबकि Ember 33.8%। इसकी जगह का कुछ हिस्सा दूसरी जगह की ताकत से आता है, जैसे कोड।

Kimi ने इसे पहला स्थान दिया। उन्होंने इसमें क्या देखा
  • Kimi: छोटे मॉडलों में अकेला जो कोड वाले कॉलम में जीतता है: FrontierCode 2.0 पर 34.9%, Muse Ember से 7.7 अंक आगे। और Terminal-Bench पर 39.2% भी लेता है।

वीडियो: Claude Haiku vs Sonnet vs Opus vs Fable Clearly Explained (& use cases) (अंग्रेज़ी में) · Eliot Prince

शीर्ष तीन की तुलना करें ↓

3डीपसीक V4.1 Flash

नं. 3 — डीपसीक V4.1 Flash. 10 में से 7 AI की सूचियों में; वहाँ मध्य स्थान: 4. AI इसे तीसरे स्थान पर रखते हैं, क्योंकि इसका ऑफिस स्कोर मज़बूत है, पर कोड स्कोर कमज़ोर है और टर्मिनल नतीजे हर टेस्ट में अलग-अलग हैं।

यह क्या है
डीपसीक का सस्ता Flash मॉडल, ओपन वेट्स वाला; अब अपने Pro अनुरोध भी यही संभाल रहा है।
इसकी बढ़त
ऑफिस काम पर Ember के करीब, 66.6% पर, और प्रति काम Haiku से सस्ता।
किसके लिए सही
अपने सर्वर पर चलाने और टर्मिनल कामों के लिए ठीक; मर्ज के लिए तैयार कोड के लिए नहीं।
  • ऑफिस वर्कफ़्लो के लक्ष्य पूरे हुएऑफिस वर्कफ़्लो पर 66.6%
यह यहाँ क्यों है
  • वैल्स की स्वतंत्र Terminal-Bench 4.0 दौड़ में डीपसीक V4.1 Flash 1017 संस्करण 31.82% स्कोर करता है। उसी पन्ने पर GPT-6.1 Sol 55.05% है, इसलिए नेता से फ़ासला बड़ा है।

इतिहास
  • 14 सितंबर 2026 को डीपसीक ने अपने सबसे ऊँचे V4-Pro मॉडल के हर अनुरोध को सस्ते V4.1-Flash की ओर भेजना शुरू किया, और बचत ग्राहकों को दी। Flash चार दिन पहले, 10 सितंबर को लॉन्च हुआ था।

    स्रोत ↗ ✓ कई AI ने पुष्टि की
ध्यान रखें
  • डीपसीक कहता है कि उसके Pro मॉडल के सभी अनुरोध अब V4.1 Flash पर भेजे जाते हैं और Flash की कीमत पर बिल होते हैं। Hacker News पर टिप्पणीकार चुपचाप मॉडल बदलने को चिंताजनक कहते हैं, और एक उपयोगकर्ता बताता है कि Flash कोडिंग टूल्स में लूप और गलत टूल कॉल के साथ विफल होता है।

आगे कहाँ देखें
  • Hugging Face पर मॉडल कार्ड खोलें। 'Performance across agent scaffolds' सेक्शन से शुरू करें, जिसमें टर्मिनल-कार्य के परीक्षण हैं। पन्ने पर 552B पैरामीटर लिखे हैं, जबकि Hub मेटाडेटा में 763B है, इसलिए संख्याएँ ध्यान से पढ़ें।

शीर्ष तीन की तुलना करें ↓

शीर्ष तीन आमने-सामने

मेटा Muse EmberClaude Haiku 5.5डीपसीक V4.1 Flash
AI सूचियों में8 / 108 / 107 / 10
ऑफिस वर्कफ़्लो के लक्ष्य पूरे हुएऑफिस लक्ष्यों का 68.1%ऑफिस लक्ष्यों का 35.4%ऑफिस वर्कफ़्लो पर 66.6%
पहला स्थान दियाClaude, ChatGPT, Grok, DeepSeekKimi—

जिन स्थानों को बराबर AI ने चुना, वे AI सूचियों में उनके औसत स्थान के क्रम में हैं।

03जानने योग्य

सूची बनाते समय AI ने क्या देखा।

ऑफिस में जो आगे है, कोड में वही आगे नहीं। Ember पूरे हुए वर्कफ़्लो में Haiku 5.5 को हरा देता है (68.1% बनाम 35.4%), और मर्ज-योग्य कोड में हार जाता है (27.2% बनाम 34.9%)। दोनों नतीजे Artificial Analysis के रन हैं।

किसने देखा:
शामिल किया: Claude, ChatGPT, Grok, Z.ai, Kimi, DeepSeek. शामिल नहीं किया: Meta, Gemini, Wenxin, Qwen.
स्रोत ↗

AutomationBench के दो पैमाने हैं। 68.1% पूरे हुए लक्ष्य गिनता है, जबकि मेटा का 37.8% वर्कफ़्लो तभी गिनता है जब वह पहली ही कोशिश में पूरी तरह हो जाए। उसी तरीके से Haiku 35.4% से गिरकर 13.9% हो जाता है, इसलिए दोनों पैमाने आपस में मिलाए नहीं जा सकते।

किसने देखा:
शामिल किया: Claude, ChatGPT, Grok, Z.ai, DeepSeek. शामिल नहीं किया: Meta, Gemini, Kimi, Wenxin, Qwen.
स्रोत ↗

निर्माता की तालिकाओं में आंकड़ा ऊँचा होता है। डीपसीक Terminal-Bench पर 42.3% बताता है, जबकि वैल्स का 31.82%; और मिनीमैक्स 38.1% बताता है, जबकि 25.25%।

किसने देखा:
शामिल किया: Grok, Z.ai, Kimi. शामिल नहीं किया: Claude, ChatGPT, Meta, Gemini, DeepSeek, Wenxin, Qwen.
स्रोत ↗

सेटअप भी स्कोर का हिस्सा है। उन्हीं 66 टास्क पर Haiku का Terminal-Bench नतीजा एंथ्रोपिक से 39.2%, वैल्स से 36.36% और Artificial Analysis से 32.8% है।

किसने देखा:
शामिल किया: Meta, Grok, Z.ai, Kimi. शामिल नहीं किया: Claude, ChatGPT, Gemini, DeepSeek, Wenxin, Qwen.
स्रोत ↗

FrontierCode 2.0 का मुख्य स्कोर सिर्फ टेस्ट पास करने वाले पैचों का हिस्सा नहीं, बल्कि भारित मूल्यांकन-सूची है, जिसमें रोकने वाले मानदंड भी हैं। Haiku Artificial Analysis के रन पर 34.9% और कॉग्निशन के अपने बोर्ड पर 27.7% स्कोर करता है।

किसने देखा:
शामिल किया: ChatGPT, Meta, Grok, Z.ai. शामिल नहीं किया: Claude, Gemini, Kimi, DeepSeek, Wenxin, Qwen.
स्रोत ↗

04लोग क्या पूछते हैं

AI एजेंट के लिए सबसे अच्छा मॉडल कौन-सा है?

यह काम पर निर्भर है। ऑफिस के चरणों के लिए Muse Ember सबसे अच्छा है (AutomationBench के लक्ष्यों का 68.1%), और जो कोड मेंटेनरों के टेस्ट पास करे, उसके लिए Claude Haiku 5.5 (FrontierCode 2.0 पर 34.9%)।

स्रोत ↗
AI मॉडल बनाम AI एजेंट: क्या फ़र्क है?

मॉडल अगला कदम बनाता है; एजेंट उसे टूल्स और एक लूप में लपेटता है। इसीलिए Terminal-Bench 4.0 66 टास्क पर मॉडल-और-एजेंट की जोड़ी को आँकता है, और एक ही मॉडल का स्कोर सेटअप के साथ बदल जाता है।

Hermes Agent के लिए सबसे अच्छा AI मॉडल कौन-सा है?

Hermes Index के स्नैपशॉट में Haiku 5.5 लगभग $0.49 प्रति टास्क पर 37.00 स्कोर करता है, और डीपसीक V4.1 Flash लगभग $0.26 पर 36.91। Ember सूची में नहीं है।

स्रोत ↗
ऑफिस-वर्कफ़्लो के स्कोर अलग-अलग स्रोतों में इतने अलग क्यों हैं?

Artificial Analysis पूरे हुए लक्ष्य गिनता है (Ember 68.1%), जबकि मेटा का चार्ट सख्त एक-कोशिश वाली स्कोरिंग इस्तेमाल करता है (Ember 37.8%, Luna 20.2% बनाम 53.2%)।

स्रोत ↗

05हमने कैसे गिना

सीधी भाषा में, बिना सूत्रों के।

1सवाल

एजेंट के लिए 10 छोटे AI मॉडल: ऑफिस वर्कफ़्लो बनाम वह कोड जिसे मेंटेनर मर्ज करेगा

2यह विषय क्यों

तीन स्वतंत्र प्रकाशक एजेंट के तीन अलग तरह के काम आँकते हैं, इसलिए पाठक जानता है कि 'Haiku को हराना' काम पर निर्भर करता है, जो कोई एक लीडरबोर्ड नहीं दिखाता।

3यह कहाँ लागू होता है

दुनिया भर के छोटे और सस्ते मॉडल, जो एजेंटों में इस्तेमाल होते हैं

4हमने किन बातों पर ध्यान दिया

  • सिमुलेटेड ऑफिस ऐप्स के भीतर पूरे हुए बिज़नेस-वर्कफ़्लो लक्ष्यों का हिस्सा
  • कोड पैचों का वह हिस्सा जो असली रिपॉज़िटरी मेंटेनरों के लिखे टेस्ट पास करे
  • असली टर्मिनल टास्क का वह हिस्सा जो मॉडल-और-एजेंट की जोड़ी हल करे
  • निर्माता की तालिका और स्वतंत्र रन के बीच हर स्कोर कितना बदलता है
  • Artificial Analysis AutomationBench-AA — सिमुलेटेड ऐप्स (Gmail, स्लैक, सेल्सफोर्स और अन्य) में पूरे हुए बिज़नेस-वर्कफ़्लो लक्ष्यों का हिस्सा। लक्ष्य-स्तर का स्कोर और सख्त pass@1 स्कोर d
  • कॉग्निशन FrontierCode 2.0 (और Artificial Analysis का अपना रन) — 132 टास्क पर, क्या अनौपचारिक विवरण से लिखे पैच मेंटेनरों के टेस्ट और मूल्यांकन-सूची पास करते हैं
  • लॉड इंस्टीट्यूट और हार्बर Terminal-Bench 4.0 — 66 कंटेनर में चलने वाले टर्मिनल टास्क का वह हिस्सा जो मॉडल-और-एजेंट की जोड़ी हल करे
  • Vals.ai Terminal-Bench 4.0 — वही 66 टास्क एक साझा सेटअप से चलाए गए, निर्माता की तालिकाओं की बाहरी जाँच के तौर पर

5रैंक किसने दी

अग्रणी AI: Claude, ChatGPT, Meta, Grok, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen। हर एक ने स्वतंत्र रूप से दस स्थानों की अपनी सूची बनाई और हर स्थान के लिए स्रोत बताया।

6स्थान कैसे तय हुए

अलग-अलग AI द्वारा अलग ढंग से लिखी गई एक ही चीज़ को एक गिना गया। जितने ज़्यादा AI ने किसी चीज़ को अपनी सूची में रखा और जितना ऊपर रखा, उसका स्थान उतना ऊँचा। "AI की सहमति" बताती है कि कितने AI की अपनी सूची में वह चीज़ थी। स्रोत केवल वही हैं जो AI ने खुद खोजे; हाथ से कुछ नहीं जोड़ा गया।

06हर AI की अपनी सूची

🇺🇸 Claude10 स्थान · 3 नोट

वही सवाल, जिसका जवाब अकेले Claude ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    मेटा Muse Ember (2026)

    AutomationBench-AA पर 37.8% के साथ ऑफ़िस काम जीतता है (Haiku 13.9%), पर कोड में हारता है: FrontierCode 2.0 पर 27.2% बनाम 34.9%।

    स्रोत ↗
  2. 2
    Claude Haiku 5.5

    कोड का चुनाव: छोटे समूह में FrontierCode 2.0 का सबसे अच्छा स्कोर (34.9%), फिर भी ऑफ़िस वर्कफ़्लो केवल 13.9% पूरे करता है।

    स्रोत ↗
  3. 3
    थिंकिंग मशीन्स Inkling 2 Small

    बताया गया है कि AutomationBench-AA पर अपने पूर्ववर्ती से 5% से 46% तक उछला, जबकि Terminal-Bench 4.0 लगभग 13% पर रहता है।

    स्रोत ↗
  4. 4
    डीपसीक V4.1 Flash

    Bito के समूह में सबसे अच्छा लंबे सत्र का कोडर (71.9%), 20-टर्न रन पर $2.17 में। AutomationBench-AA का कोई आँकड़ा नहीं मिला।

    स्रोत ↗
  5. 5
    मिनीमैक्स M3.1 Flash

    Bito के 20-टर्न सत्रों में 75.0% तक पहुँचता है, जो Haiku 5.5 के लगभग बराबर है, पर हर रन में 3 से 5 घंटे लगते हैं।

    स्रोत ↗
  6. 6
    GPT-6 Luna

    ऑफ़िस काम में बीच में (20.2%), और कोड (25.2%) व टर्मिनल कार्यों (16.4%) में तीनों लॉन्च प्रतिद्वंद्वियों में सबसे पीछे।

    स्रोत ↗
  7. 7
    Muse Spark 1.3 (मेटा)

    इंडेक्स पर 37 स्कोर, पर बिल प्रति कार्य $2.39 है, और इसके लिए कोई वर्कफ़्लो या कोड का विभाजन नहीं मिला।

    स्रोत ↗
  8. 8
    Kimi K3.1 Pro

    Bito के परीक्षणों पर 64.9% कोडिंग स्कोर, पर 20-टर्न रन में $29.32 पर यह सस्ता विकल्प नहीं।

    स्रोत ↗
  9. 9
    GLM-5.3 (झिपू AI)

    Bito के कोडिंग सत्रों पर समग्र 60.1%, 20-टर्न रन पर $20.28। कोई ऑफ़िस-वर्कफ़्लो स्कोर नहीं मिला।

    स्रोत ↗
  10. 10
    Claude Sonnet 5.5 (मध्य कीमत का संदर्भ)

    छोटा मॉडल नहीं, पर 30% Terminal-Bench 4.0 स्कोर (medium प्रयास) Inkling के 13% को संदर्भ में दिखाता है।

    स्रोत ↗

Claude ने क्या देखा

Ember और Haiku 5.5 कार्य के प्रकार के हिसाब से जगह बदलते हैं: AutomationBench-AA पर Ember का 37.8% बनाम 13.9%, जबकि FrontierCode 2.0 पर Haiku का 34.9% बनाम 27.2%। दोनों Artificial Analysis के रन हैं।

AutomationBench-AA की दो व्याख्याएँ हैं: 37.8% तब गिना जाता है जब वर्कफ़्लो पहली बार में पूरी तरह हो जाए, और 68.1% पूरे हुए लक्ष्यों को गिनता है।

Artificial Analysis के Coding Agent Index पर Ember का स्कोर 46 है और Haiku का 37। इसलिए FrontierCode का नुकसान हर कोडिंग पैमाने पर लागू नहीं होता।

🇺🇸 ChatGPT10 स्थान · 3 नोट

वही सवाल, जिसका जवाब अकेले ChatGPT ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    मेटा Muse Ember (2026)

    ऑफ़िस का विशेषज्ञ: वर्कफ़्लो-लक्ष्य पूरा होने में 68.1%, पर मर्ज-योग्यता पर आधारित कोडिंग मूल्यांकन में केवल 27.2%।

    स्रोत ↗
  2. 2
    Claude Haiku 5.5 (2026)

    ऑफ़िस-वर्कफ़्लो की प्रतियोगिता में यह Ember से हारता है, पर रिपोर्ट किए गए FrontierCode तुलना में उससे 7.7 अंक आगे है।

    स्रोत ↗
  3. 3
    ओपनएआई GPT-6.1 Sol (2026)

    इसका 39.0% FrontierCode स्कोर और 58.2% आधिकारिक टर्मिनल समाधान कठिन पैच को मजबूत मॉडल तक ले जाने को उचित ठहराते हैं।

    स्रोत ↗
  4. 4
    झिपू AI GLM-5.3-Flash (2026)

    Flash मॉडल के लिए 35.8% टर्मिनल समाधान, पर मेंटेनर-गुणवत्ता वाले कोडिंग बेंचमार्क पर केवल 14.2%।

    स्रोत ↗
  5. 5
    डीपसीक V4.1 Flash 1017 (2026)

    33 अंक का इंटेलिजेंस स्कोर और ओपन वेट्स आकर्षक हैं, पर कठिन मर्ज-योग्य काम पर FrontierCode गिरकर 19.3% रह जाता है।

    स्रोत ↗
  6. 6
    ओपनएआई GPT-6 Luna (2026)

    कम लागत वाला सहायक, Coding Agent Index पर 31 के साथ, पर आधिकारिक टर्मिनल-कार्य समाधान केवल 16.4%।

    स्रोत ↗
  7. 7
    गूगल Gemini 3.8 Flash (2026)

    मल्टीमॉडल 10 लाख-टोकन वाला सहायक, फिर भी इसके परखे गए हार्नेस में आधिकारिक टर्मिनल कार्यों का केवल 19.1% हल हुआ।

    स्रोत ↗
  8. 8
    थिंकिंग मशीन्स Inkling 2 Small (2026)

    इसका 22.6% FrontierCode स्कोर सम्मानजनक है, पर $1.18 का इंडेक्स कार्य और धीमी पूर्ति एजेंट-अर्थशास्त्र को कमज़ोर करते हैं।

    स्रोत ↗
  9. 9
    कॉग्निशन SWE-2 Flash (2026)

    Flash का कोडिंग-केंद्रित विकल्प FrontierCode पर 24.0% तक पहुँचता है, पर इतने भर से ऑफ़िस-एजेंट की विश्वसनीयता सिद्ध नहीं होती।

    स्रोत ↗
  10. 10
    मेटा Muse Spark Open (2026)

    ओपन वेट्स और एजेंट-एकीकरण उपयोगी हैं, पर 6.2% FrontierCode प्रदर्शन स्वतंत्र पैच-समीक्षा को ज़रूरी बनाता है।

    स्रोत ↗

ChatGPT ने क्या देखा

Ember बिज़नेस वर्कफ़्लो में Haiku से आगे है, पर मर्ज-योग्यता में Haiku आगे है: Ember के लिए AutomationBench पर 68.1% लक्ष्य-पूर्णता, जबकि FrontierCode-AA पर Haiku का 34.9% बनाम Ember का 27.2%।

Cognition ने FrontierCode 2.0 को काफ़ी कठिन बना दिया: डीपसीक V4.1 Flash संस्करण 1.1 पर 43.9% से संस्करण 2.0 पर 19.3% पर आ गया। यह बेंचमार्क का संशोधन है, मापी गई मॉडल की गिरावट नहीं।

असली मेंटेनर की अपेक्षाएँ सामान्य टेस्ट पास करने से कठिन हैं। FrontierCode स्कोप, डिज़ाइन और पूर्णता भी जाँचता है, और मज़बूत मॉडल भी छोटी सफ़ाई की शर्तें चूक सकते हैं।

🇺🇸 Meta10 स्थान · 4 नोट

वही सवाल, जिसका जवाब अकेले Meta ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    GPT-6.1 Sol (2026)

    सस्ते के आसपास का एकमात्र मॉडल जो दोनों तरफ़ मज़बूत है: ऑफ़िस में 64.9%, मर्ज-योग्य कोड में 39.0%, प्रति रोलआउट $1.03 पर।

    स्रोत ↗
  2. 2
    मिनीमैक्स M3.1 Flash (2026)

    ऑफ़िस के लक्ष्यों का 72.5% पूरा, सस्ते मॉडलों में सबसे अच्छा ऑफ़िस स्कोर, साथ में 25% टर्मिनल स्कोर।

    स्रोत ↗
  3. 3
    Gemini 3.8 Flash (2026)

    ऑफ़िस 59.9%, टर्मिनल 19.7%। MiniMax जैसा ही विभाजन, पर कहीं ज़्यादा मापी गई कार्य-लागत पर।

    स्रोत ↗
  4. 4
    Claude Haiku 5.5 (2026)

    सस्ता कोड का अग्रणी: FrontierCode 2.0 पर 27.7% और टर्मिनल पर 36%, पर ऑफ़िस वर्कफ़्लो पर केवल 35.4%।

    स्रोत ↗
  5. 5
    Muse Ember (2026)

    टर्मिनल-पहले: मेटा की तालिका में Terminal-Bench पर 40.9%, FrontierCode-AA पर 27.2%। AA के AutomationBench 24-मॉडल सूची में ऑफ़िस स्कोर नहीं मिला।

    स्रोत ↗
  6. 6
    GPT-6 Luna (2026)

    संतुलित और सस्ता: ऑफ़िस 53.2% और कोड 21.9%। Haiku से बेहतर ऑफ़िस, Haiku से कमज़ोर कोड।

    स्रोत ↗
  7. 7
    GLM-5.3 (2026)

    ऑफ़िस 62.2%, कोड 17.8%। पूर्ण आकार की GLM प्रविष्टियों में ऑफ़िस और कोड के बीच सबसे चौड़ा अंतर।

    स्रोत ↗
  8. 8
    डीपसीक V4.1 Flash 1017 (2026)

    अपनी कीमत के लिए मज़बूत टर्मिनल, $0.54 पर 31.82%, पर कोड में कमज़ोर 19.3%। शेल का कार्यकर्ता, मर्ज करने वाला नहीं।

  9. 9
    Kimi K3.1 Pro (2026)

    ऑफ़िस 73.3%, नाम भर से ऑफ़िस का अग्रणी। पर K3 लाइन की FrontierCode गिरावट चेतावनी देती है कि इसे कोडर मानना भूल होगी।

    स्रोत ↗
  10. 10
    MiMo-V2.6-Flash (2026)

    प्रति कार्य सबसे सस्ता मापा गया कार्य यहाँ $0.13 है, पर मिले स्रोतों में AutomationBench-AA, FrontierCode 2.0 या Terminal-Bench 4.0 की पंक्ति नहीं। दोनों कामों पर अप्रमाणित।

    स्रोत ↗

Meta ने क्या देखा

ऑफ़िस और कोड अलग-अलग दिशाओं में जाते हैं: MiniMax ऑफ़िस लक्ष्यों का 72.5% पूरा करता है पर टर्मिनल कार्यों का केवल लगभग 26%, जबकि Haiku ऑफ़िस में 35.4% और कोड में 27.7% पूरा करता है।

FrontierCode 2.0 ने हर स्कोर घटा दिया: Opus 54.6% से गिरकर 45.5%, Kimi K3 60% से गिरकर 17.7%। नया परीक्षण स्तरों को अलग करता है, सबको पचास के दशक में नहीं ढकेलता।

GPT-6.1 Sol Opus के FrontierCode 2.0 स्कोर का 86% देता है (39.0% बनाम 45.5%), और रोलआउट लागत के बारहवें हिस्से पर ($1.03 बनाम $12.82)।

Haiku का ऑफ़िस स्कोर इस पर निर्भर है कि AutomationBench कौन-सा है: AutomationBench-AA पर 35.4%, मूल AutomationBench 1.0.6 पर 12.0%।

🇺🇸 Grok10 स्थान · 4 नोट

वही सवाल, जिसका जवाब अकेले Grok ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    Muse Ember (2026)

    ऑफ़िस के कदम इसे दें: वर्कफ़्लो लक्ष्यों का 68.1%, फिर इसे अंतिम मर्ज से दूर रखें।

    स्रोत ↗
  2. 2
    Claude Haiku 5.5

    वह सस्ता मॉडल जिसे कोड छूना चाहिए: मर्ज के लायक 34.9%, ऑफ़िस टेस्ट पर सख़्त 13.9%।

    स्रोत ↗
  3. 3
    GLM-5.3-Flash

    ऑफ़िस की कतार के लिए एक ओपन मॉडल, 60.4% पर, मर्ज के लायक कोड 17.6% पर नीचे।

    स्रोत ↗
  4. 4
    Qwen3.8 Flash

    ऑफ़िस काम 55.9% पर, उसी कार्ड पर अपने टर्मिनल स्कोर से 30 अंक ऊपर।

    स्रोत ↗
  5. 5
    डीपसीक V4.1 Flash 1017

    Hermes बोर्ड पर यह $0.26 प्रति कार्य में 36.91 स्कोर करता है, Haiku के $0.49 में 37.00 के बगल में।

    स्रोत ↗
  6. 6
    Hy4 (टेनसेंट)

    Ember के साथ टर्मिनल पर बराबरी, 39.4%, Ember के टेस्ट बिल से लगभग छह गुना कीमत पर।

  7. 7
    मिनीमैक्स-M3.1-Flash

    लॉन्च का टर्मिनल आँकड़ा, 38.1%, और साझा हार्नेस का आँकड़ा, 25.25%, एक ही टेस्ट नहीं हैं।

    स्रोत ↗
  8. 8
    MiMo-V2.6-Flash

    $0.13 प्रति कार्य पर इंडेक्स 27, 64 मिनट की घड़ी के साथ, और लॉन्च का टर्मिनल स्कोर बाद में कम पढ़ा गया।

    स्रोत ↗
  9. 9
    GPT-6 Luna

    सख़्त ऑफ़िस टेस्ट पर 20.2% और मर्ज टेस्ट पर 25.2% पर हारता है, जबकि इसकी स्टिकर कीमत Ember से मेल खाती है।

    स्रोत ↗
  10. 10
    Gemini 3.8 Flash

    जितना स्वचालित करता है उससे ज़्यादा जानता है: 50.5% सर्वज्ञता-सटीकता, $0.75 इनपुट कीमत पर।

    स्रोत ↗

Grok ने क्या देखा

उपयोगी विभाजन एक ही कीमत-पट्टी के भीतर है। Muse Ember वह ऑफ़िस-वर्कफ़्लो दर जीतता है जिसे Artificial Analysis 68.1% बताता है, और Claude Haiku 5.5 मर्ज-योग्य कोड में 34.9% पर जीतता है, जबकि Ember 27.2% पर है। एक मॉडल ऑफ़िस के कदम ले, दूसरा पैच छुए।

GLM-5.3-Flash बिना दूसरे विक्रेता के वही विभाजन दिखाता है: AutomationBench-AA पर 60.4% और FrontierCode 2.0 पर 17.6%। पूरे हुए वर्कफ़्लो में बढ़त कोड में उस नुकसान के साथ रह सकती है जिसे मेंटेनर मर्ज करेगा।

Haiku का टर्मिनल स्कोर एक संख्या नहीं है। लॉन्च कार्ड पर यह 39.2% है, Artificial Analysis के रन में 32.8%, वैल्स एआई पर 36.36%, और Hermes Index स्नैपशॉट में 13.6%। हार्नेस भी परिणाम का हिस्सा है।

Hermes Index स्नैपशॉट पर डीपसीक V4.1 Flash $0.26 प्रति कार्य पर 36.91 स्कोर करता है, और Haiku 5.5 $0.49 पर 37.00। Claude Opus 5.5 63.31 पर आगे है, जिसकी लागत मिरर लगभग $4.99 बताता है। रोज़ के एजेंट-अंक लगभग बराबर हैं। बिल नहीं।

🇺🇸 Gemini10 स्थान · 1 नोट

वही सवाल, जिसका जवाब अकेले Gemini ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    एंथ्रोपिक Claude 3.5 Haiku

    सीधे SaaS ऐप नेविगेशन में पीछे (13.9%), पर छोटे मॉडलों में कोड गुणवत्ता में आगे, 41.2% FrontierCode मेंटेनर मर्ज दर के साथ, जो फ़्लैगशिप मॉडलों की बराबरी करती है।

  2. 2
    मेटा Muse Ember (2026)

    ऑफ़िस वर्कफ़्लो में 37.8% पर छाया हुआ, Haiku के स्कोर से लगभग तीन गुना। पर मेंटेनर इसके 72% कोड पैच अस्वीकार करते हैं, edge-case संभालने की लापरवाही के कारण।

    स्रोत ↗
  3. 3
    अलीबाबा Qwen 2.5 Coder 32B-Instruct

    ओपन-वेट कोडिंग विशेषज्ञ मेंटेनर पुल रिक्वेस्ट पर 36.6% स्कोर करता है, और Haiku को छोड़कर अपने मूल्य-वर्ग के हर मालिकाना मॉडल को पीछे छोड़ता है।

    स्रोत ↗
  4. 4
    गूगल Gemini 2.0 Flash

    सबसे संतुलित सामान्य-उद्देश्य मॉडल: ऑफ़िस ऐप्स पर 26.5% और टर्मिनल इंजीनियरिंग पर 30.2%, किसी भी क्षेत्र का पक्ष लिए बिना।

  5. 5
    ओपनएआई GPT-4o mini

    मानक ऑफ़िस स्प्रेडशीट और CRM भरोसे से चलाता है (20.2%), पर FrontierCode पर 26.0% पर रुक जाता है, जब मेंटेनर असिंक्रोनस कोड-पथ जाँचते हैं।

    स्रोत ↗
  6. 6
    डीपसीक-V3

    पुल रिक्वेस्ट में जटिल एल्गोरिदमिक तर्क हल करता है (FrontierCode पर 32.4%), पर ऑफ़िस सूट में नकली OAuth और CRM टोकन प्रवाह में अटकता है।

    स्रोत ↗
  7. 7
    मेटा Llama 3.3 70B Instruct

    संतुलित 28.5% कोडिंग और 27.3% टर्मिनल समस्या-समाधान देता है, पर इसकी अधिक विलंबता इंटरैक्टिव CLI एजेंट के चलने की गति धीमी करती है।

  8. 8
    Mistral Small 24B

    नियतात्मक टर्मिनल स्क्रिप्टिंग (24.2%) और ERP टूल-रूटिंग में उत्कृष्ट, पर गैर-मानक वेरिएबल नामों के कारण मेंटेनर मर्ज पर 21.5% तक गिरता है।

  9. 9
    गूगल Gemini 1.5 Flash

    बहुत बड़े ऑफ़िस इनबॉक्स डंप को टोकन सीमा तोड़े बिना संभालता है, पर मेंटेनर उसके प्रस्तावित कोडबेस बदलावों में 5 में से 1 से भी कम मर्ज करते हैं।

  10. 10
    नूस रिसर्च Hermes 3 (Llama 3.1 70B)

    एजेंटिक स्वायत्तता और फ़ंक्शन कॉलिंग के लिए ख़ास तौर पर ठीक किया गया, Terminal-Bench पर 22.7% तक पहुँचता है, जबकि ऑफ़िस वर्कफ़्लो दर 14.2% के आसपास मंडराती है।

Gemini ने क्या देखा

Qwen 2.5 Coder 32B जैसे कोड-विशेष ओपन-वेट मॉडल वास्तविक रिपॉज़िटरी मेंटेनर समीक्षाओं पर GPT-4o mini और Gemini 1.5 Flash जैसे सामान्य मालिकाना मॉडलों को 10 प्रतिशत अंक से ज़्यादा से हरा देते हैं।

🇨🇳 Z.ai10 स्थान · 2 नोट

वही सवाल, जिसका जवाब अकेले Z.ai ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    Kimi K3.1 Pro (मूनशॉट एआई, 2026)

    ऑफ़िस (73.3% AutomationBench-AA) और टर्मिनल (67.2%, प्रकाशित सबसे अच्छा TB4.0 स्कोर) दोनों चलाता है। पर मर्ज-योग्य कोड पर इसका पूर्ववर्ती Kimi K3 कॉग्निशन के बोर्ड पर केवल 17.7% तक पहुँचा।

    स्रोत ↗
  2. 2
    मिनीमैक्स M3.1 Flash (मिनीमैक्स, 2026)

    ऑफ़िस-वर्कफ़्लो लक्ष्यों का 72.5%, AA के 249 मॉडलों में Gemini 4 Carbon के बाद दूसरा। जबकि वैल्स एआई ने इसे प्रति टर्मिनल टेस्ट केवल $0.21 का बिल दिया, जो इस वर्ग में सबसे सस्ता पूरा-कार्य बिल है।

    स्रोत ↗
  3. 3
    Muse Ember (मेटा, 2026)

    एक ही मॉडल में ऑफ़िस और कोड का विभाजन: AA के वर्कफ़्लो रन पर 68.1% (मेटा की सख़्त तालिका कहती है 37.8), टर्मिनल पर Haiku से जीत 40.9% बनाम 32.8%। और मर्ज-योग्य कोड पर Haiku से हार 27.2% बनाम 34.9%।

    स्रोत ↗
  4. 4
    डीपसीक V4.1 Flash 1017 (डीपसीक, ओपन वेट्स, 2026)

    ऑफ़िस वर्कफ़्लो पर 66.6% और खुद होस्ट करने के लिए खुले MIT वेट्स। पर इसकी टर्मिनल कहानी हार्नेस के साथ पलटती है: स्वयं बताया गया 42.3% बनाम वैल्स एआई के स्वतंत्र रन में 19.7%।

    स्रोत ↗
  5. 5
    Claude Haiku 5.5 (एंथ्रोपिक, 2026)

    कोड छूने वाला: FrontierCode 2.0 पर 34.9% पैच मेंटेनर परीक्षण पास करते हैं, हर सस्ते प्रतिद्वंद्वी से लगभग दस अंक ऊपर। जबकि इसका ऑफ़िस स्कोर (35.4%) यहाँ सबसे कमज़ोर है।

    स्रोत ↗
  6. 6
    GLM-5.3 (झिपू AI, 2026)

    वैल्स एआई के टर्मिनल बोर्ड (38.9%) पर बजट वर्ग का सर्वश्रेष्ठ और ऑफ़िस वर्कफ़्लो पर 62.2%। पर कॉग्निशन ने इसके पैच नहीं आँके, इसलिए मर्ज-योग्यता का सवाल खुला है।

    स्रोत ↗
  7. 7
    गूगल Gemini 3.8 Flash (2026)

    ऑफ़िस वर्कफ़्लो पर 59.9%, और इंटेलिजेंस के प्रशंसक इसकी तुलना Opus-स्तर से करते हैं। पर उसी मॉडल पर वैल्स एआई ने प्रति टर्मिनल टेस्ट $8.65 खर्च किए, जो बजट वर्ग में पूरे-कार्य का सबसे बड़ा बिल है।

    स्रोत ↗
  8. 8
    GPT-6 Luna (ओपनएआई, 2026)

    इसका ऑफ़िस स्कोर इस पर निर्भर होकर लगभग तिगुना हो जाता है कि कौन स्कोर कर रहा है: मेटा की एकल-प्रयास तालिका में 20.2%, AA के मानक रन पर 53.2%। और कॉग्निशन के बोर्ड पर मर्ज-योग्यता 23.8% है।

    स्रोत ↗
  9. 9
    Qwen3.8-27B (अलीबाबा Qwen, ओपन वेट्स, 2026)

    छोटे वर्ग का GUI विशेषज्ञ: OSWorld-Verified पर 84.3% (समग्र चौथा) बनाम Terminal-Bench 4.0 पर 5.1%। डेस्कटॉप ऐप्स हाँ, कंटेनर वाले टर्मिनल नहीं।

    स्रोत ↗
  10. 10
    Kimi K3 (मूनशॉट एआई, 2026)

    चेतावनी की कहानी: $3/$15 की सूची कीमत भी कॉग्निशन के मर्ज-योग्य बोर्ड पर 17.7% और वैल्स एआई के रन में प्रति टर्मिनल टेस्ट $12.48 तक ले आई। अकेली कीमत एजेंटिक विश्वसनीयता कभी नहीं ख़रीदती।

    स्रोत ↗

Z.ai ने क्या देखा

छोटे वर्ग में डेस्कटॉप और टर्मिनल कौशल लगभग असंबद्ध हैं: Qwen3.8-27B OSWorld-Verified पर समग्र चौथा है (84.3%), पर Terminal-Bench 4.0 के 5.1% कार्य हल करता है। चुनें कि आपके कदम कहाँ चलते हैं।

मर्ज-योग्य कोड हर कीमत पर बेहद कठिन है: यहाँ तक कि FrontierCode 2.0 के अग्रणी Claude Opus 5.5 भी मेंटेनरों के टेस्ट का केवल 49.1% पास करता है, और कोई सस्ता मॉडल 35% पार नहीं करता।

🇨🇳 Kimi10 स्थान · 3 नोट

वही सवाल, जिसका जवाब अकेले Kimi ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    Claude Haiku 5.5 (2026)

    छोटे मॉडलों में अकेला जो कोड वाले कॉलम में जीतता है: FrontierCode 2.0 पर 34.9%, Muse Ember से 7.7 अंक आगे। और Terminal-Bench पर 39.2% भी लेता है।

    स्रोत ↗
  2. 2
    मेटा Muse Ember (2026)

    ऑफ़िस वर्कफ़्लो के 37.8% पूरे करता है, Haiku की दर का 2.7 गुना। पर मेंटेनर-मर्ज परीक्षण उलट देता है: 27.2% बनाम Haiku का 34.9%।

    स्रोत ↗
  3. 3
    GLM-5.3 (2026)

    जारी किए गए वेट्स का सर्वश्रेष्ठ टर्मिनल स्कोर (43.4%): एक ओपन मॉडल जो कमांड-लाइन पर हर सस्ते बंद प्रतिद्वंद्वी से बेहतर काम करता है।

    स्रोत ↗
  4. 4
    डीपसीक V4.1 Flash 1017 (2026)

    सबसे सस्ता गंभीर कोड विकल्प: FrontierCode 2.0 पर 19.3%, प्रति रोलआउट $0.38 पर। Terminal-Bench 42.3% (स्वयं बताया) / 33.8% (स्वतंत्र)।

    स्रोत ↗
  5. 5
    मिनीमैक्स M3.1 Flash (2026)

    Terminal-Bench 4.0 पर 38.1%, उसी लगभग $0.60 आउटपुट कीमत पर Luna से 22 अंक ऊपर। अब तक कोई ऑफ़िस या मर्ज-कोड आँकड़े प्रकाशित नहीं।

    स्रोत ↗
  6. 6
    GLM-5.3-Flash (2026)

    प्रति कार्य $0.36 पर Terminal-Bench 4.0 पर 35.8%: वह कीमत-प्रदर्शन बिंदु जहाँ सस्ता टर्मिनल काम भरोसेमंद होने लगता है।

    स्रोत ↗
  7. 7
    GPT-6 Luna (2026)

    एक ही मॉडल में ऑफ़िस-बनाम-कोड विभाजन: व्यावसायिक वर्कफ़्लो पर मज़बूत (एक AA रन में AutomationBench-AA 53%, मेटा के सख़्त चार्ट में 20.2%), पर Terminal-Bench पर 16.4%।

    स्रोत ↗
  8. 8
    Gemini 3.5 Flash (2026)

    AutomationBench-AA पर 42.6%, लॉन्च के समय उस बोर्ड पर किसी भी उप-फ़्रंटियर मॉडल का सबसे अच्छा ऑफ़िस-वर्कफ़्लो आँकड़ा।

    स्रोत ↗
  9. 9
    MiMo-V2.6-Flash (2026)

    Terminal-Bench 4.0 पर 24.2%, प्रति कार्य $0.21 पर। सबसे सस्ती टर्मिनल पास-दर, पर एक चेतावनी के साथ: वैल्स एआई को लगा कि इसके कोडिंग कार्यों में से दो-तिहाई में उत्तर लीक हो सकता है।

  10. 10
    Gemini 3.1 Flash-Lite (2026)

    प्रति ऑफ़िस-वर्कफ़्लो कार्य $0.05 से कम, AutomationBench-AA लागत-सीमा का निचला स्तर, उन कदमों के लिए जहाँ दोबारा कोशिश मुफ़्त है।

    स्रोत ↗

Kimi ने क्या देखा

ऑफ़िस/कोड का विभाजन असली और बड़ा है: Muse Ember व्यावसायिक वर्कफ़्लो पर Claude Haiku 5.5 से 24 अंक आगे है (37.8 बनाम 13.9), और मर्ज-योग्य कोड पर 7.7 अंक से हारता है (27.2 बनाम 34.9)। इनबॉक्स के लिए एक मॉडल, रिपो के लिए दूसरा।

निर्माता की तालिकाएँ फुलाई जाती हैं: डीपसीक V4.1 Flash 1017 अपने डीपसीक के मूल्यांकन में Terminal-Bench 4.0 पर 42.3% लेता है, पर Artificial Analysis के चलाने पर 33.8%। केवल एक दिशा में 8.5 अंक का विचलन।

ओपन वेट्स ने टर्मिनल का अंतर पाट दिया है, ऑफ़िस का नहीं: GLM-5.3 (43.4%) और डीपसीक V4.1 Flash (42.3%) Terminal-Bench 4.0 पर जारी वेट्स में आगे हैं, जबकि AutomationBench-AA के शीर्ष के पास कोई ओपन मॉडल नहीं।

🇨🇳 DeepSeek10 स्थान · 2 नोट

वही सवाल, जिसका जवाब अकेले DeepSeek ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    Muse Ember (मेटा, 2026)

    एकमात्र सस्ता मॉडल जो व्यावसायिक वर्कफ़्लो (37.8% सख़्त) में शीर्ष स्तर पर है और टर्मिनल कार्य (40.9%) में भी प्रतिस्पर्धी, हालाँकि इसके केवल 27.2% कोड पैच मर्ज होंगे।

    स्रोत ↗
  2. 2
    Claude Haiku 5.5 (एंथ्रोपिक, 2026)

    सस्ते वर्ग का मर्ज-योग्य कोडर: FrontierCode 2.0 पर 34.9%, पर ऑफ़िस वर्कफ़्लो पर केवल 13.9% सख़्त। यह कोड ठीक करेगा और स्प्रेडशीट को नज़रअंदाज़ करेगा।

    स्रोत ↗
  3. 3
    डीपसीक V4.1 Flash 1017 (डीपसीक, 2026)

    टर्मिनल विशेषज्ञ: Terminal-Bench 4.0 पर 42.3% और AutomationBench v1.0.6 पर 60.5%, पर FrontierCode पर केवल 28%। कमांड चलाने में मज़बूत, मर्ज होने लायक पैच भेजने में कमज़ोर।

    स्रोत ↗
  4. 4
    MiMo-V2.6-Pro (शाओमी, 2026)

    AutomationBench-AA पर 59% और Terminal-Bench पर 35% के साथ मज़बूत ऑफ़िस प्रदर्शनकर्ता। पर इसका 24% FrontierCode स्कोर बताता है कि मेंटेनर पैच वापस भेज देगा।

    स्रोत ↗
  5. 5
    मिनीमैक्स M3.1 Flash (मिनीमैक्स, 2026)

    सस्ते सेट का ऑफ़िस-वर्कफ़्लो चैंपियन: AutomationBench-AA पर 72.5%, पर FrontierCode पर केवल 21% और Terminal-Bench पर 26%। इसे स्प्रेडशीट दीजिए, पुल रिक्वेस्ट नहीं।

    स्रोत ↗
  6. 6
    GPT-6 Luna (ओपनएआई, 2026)

    प्रति कार्य कम बिल ($0.15) कमज़ोर ऑफ़िस और टर्मिनल परिणाम छिपाता है: AutomationBench सख़्त पर 20.2%, Terminal-Bench पर 16.4%, और FrontierCode पर 25.2%।

    स्रोत ↗
  7. 7
    GLM-5.3-Flash (झिपू AI, 2026)

    AutomationBench पर 60% स्कोर इसे विश्वसनीय ऑफ़िस-स्टेप रनर बनाता है, पर FrontierCode पर 15% और Terminal-Bench पर 33% इसे रिपॉज़िटरी के काम से दूर रखते हैं।

    स्रोत ↗
  8. 8
    Ling 3.0 Flash (InclusionAI, 2026)

    लगभग $0.054 प्रति कार्य पर यह इस समूह का सबसे सस्ता ऑफ़िस-सक्षम मॉडल है, 53% AutomationBench के साथ। पर FrontierCode पर केवल 11–15% और Terminal-Bench पर 32.4%।

    स्रोत ↗
  9. 9
    Gemini 3.8 Flash (गूगल, 2026)

    उच्च प्रयास पर 60% AutomationBench स्कोर, पर FrontierCode पर केवल 19% और Terminal-Bench पर 20%। याद दिलाता है कि ऑफ़िस की दक्षता मर्ज-योग्य कोड में अपने-आप नहीं आती।

    स्रोत ↗
  10. 10
    Nanbeige4.3-33B (नानबेइगे, 2026)

    एक छोटा ओपन-वेट मॉडल जो AutomationBench पर Qwen3.8 27B को हराता है (53% बनाम 48%), पर FrontierCode पर 11% तक गिरता है। उपयोगी ऑफ़िस सहायक, मेंटेनर के मर्ज का उम्मीदवार नहीं।

    स्रोत ↗

DeepSeek ने क्या देखा

सस्ती ऑफ़िस-वर्कफ़्लो तालिका में Muse Ember सख़्त AutomationBench पर 37.8% से आगे है, पर उसका FrontierCode 27.2% विभाजन साफ़ दिखाता है: जो मॉडल 30-चरण का व्यावसायिक काम पूरा करता है, वह वही नहीं जिसे मेंटेनर पुल रिक्वेस्ट की समीक्षा के लिए चाहता है।

MiniMax M3.1 Flash AutomationBench-AA पर 72.5% स्कोर करता है, Muse Ember से ऊँचा, फिर भी FrontierCode पर केवल 21%। सस्ते वर्ग में ऑफ़िस वर्कफ़्लो और मर्ज-योग्य कोड सचमुच अलग कौशल हैं।

🇨🇳 Wenxin10 स्थान · 1 नोट

वही सवाल, जिसका जवाब अकेले Wenxin ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    एंथ्रोपिक Claude Haiku 4.5 (2026)

    ऑफ़िस वर्कफ़्लो में अग्रणी और कोड टेस्ट पास करता है: छोटे मॉडलों में अकेला जो दोनों अच्छी तरह करता है

  2. 2
    ओपनएआई GPT-4o mini (2026)

    छोटे मॉडलों का सर्वश्रेष्ठ टर्मिनल पूरा करने वाला, पर ऑफ़िस कदम और मर्ज-योग्य कोड Haiku से पीछे

    स्रोत ↗
  3. 3
    गूगल Gemini 2.5 Flash-Lite (2026)

    सस्ते वर्ग का ऑफ़िस-वर्कफ़्लो राजा: कोड मर्ज दर मुश्किल से कोई फ़र्क डालती है

    स्रोत ↗
  4. 4
    मेटा Muse Ember (2026)

    ऑफ़िस के लिए काफ़ी अच्छा, मर्ज-योग्य कोड में कमज़ोर: 30-चरण वाला काम इसका मीठा स्थान है

  5. 5
    डीपसीक-V3 Lite (2026)

    कोड पैच अपनी ऑफ़िस हिस्सेदारी से ज़्यादा बार पास होते हैं, अधिकांश छोटे मॉडलों के उलट

  6. 6
    Mistral Small 3.1 (2026)

    ठोस द्विभाषी ऑफ़िस मॉडल: कोड मर्ज दर हर 4 में से 1 पैच से भी नीचे

    स्रोत ↗
  7. 7
    कोहेरे Command R+ 08-2026 (छोटा)

    ऑफ़िस और RAG वर्कफ़्लो में आगे, कोड और टर्मिनल बाद की सोच हैं

    स्रोत ↗
  8. 8
    Qwen 3 4B (2026)

    टर्मिनल कार्य सस्ते में निपटते हैं, पर ऑफ़िस वर्कफ़्लो और कोड मर्ज दोनों कम पड़ते हैं

  9. 9
    माइक्रोसॉफ्ट Phi-4 Mini (2026)

    सूची का सबसे छोटा दिमाग़: ऑफ़िस, कोड और टर्मिनल सब 25% से नीचे

  10. 10
    स्टेबिलिटी एआई Stable LM 2 1.6B (2026)

    ऑफ़िस वर्कफ़्लो 28% और कोड 11%। सस्ता, हाँ; एजेंट के लिए तैयार, नहीं

Wenxin ने क्या देखा

कोई छोटा मॉडल FrontierCode 2.0 मेंटेनर टेस्ट का 38% से ज़्यादा पास नहीं करता। सबसे अच्छा (Haiku 4.5, 38%) भी मर्ज-योग्य पैचों में 10 में से 6 विफल रहता है। यानी 'छोटा' अब भी 'ड्राफ़्ट, मर्ज नहीं' का मतलब है।

🇨🇳 Qwen10 स्थान · 2 नोट

वही सवाल, जिसका जवाब अकेले Qwen ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    गूगल Gemini 4 Argon

    SaaS ऑटोमेशन चार्ट में आगे, पर असली मेंटेनर कोड समीक्षाओं पर रुक जाता है।

    स्रोत ↗
  2. 2
    मेटा Muse Ember

    दोहराए जाने वाले API कॉल और रूटिंग के लिए बना, जो एजेंट दिन भर करते हैं।

    स्रोत ↗
  3. 3
    अलीबाबा Qwen 2.5 Coder 32B

    टर्मिनल कार्यों और मर्ज होने लायक पैचों का ओपन-सोर्स राजा।

    स्रोत ↗
  4. 4
    एंथ्रोपिक Claude Haiku 5.5

    Anthropic के सुरक्षा गार्डरेल इसे SaaS वर्कफ़्लो नियम तोड़ने से रोकते हैं।

  5. 5
    ओपनएआई GPT-4o-mini

    टर्मिनल कमांड के लिए भरोसेमंद बैकअप, पर जटिल मर्ज मानकों पर कमज़ोर।

    स्रोत ↗
  6. 6
    मेटा Llama 3.3 70B / 3.1 8B

    टर्मिनल के छोटे कामों के लिए डिफ़ॉल्ट स्थानीय विकल्प, SaaS ऑर्केस्ट्रेशन में पीछे।

    स्रोत ↗
  7. 7
    Mistral Large 4 / Small

    FrontierCode के सख़्त ग्रेडिंग नियमों पर अपने वज़न से ऊपर प्रदर्शन।

    स्रोत ↗
  8. 8
    अलीबाबा Qwen 2.5 7B

    Zapier-जैसे वर्कफ़्लो तक सीमित होने पर आश्चर्यजनक रूप से सक्षम ऑफ़िस सहायक।

  9. 9
    डीपसीक Coder V2 / V3-Lite

    टर्मिनल ऑटोमेशन में मज़बूत, पर कई-ऐप व्यावसायिक तर्क में संघर्ष करता है।

    स्रोत ↗
  10. 10
    गूगल Gemma 2 9B

    हल्के स्थानीय ब्राउज़र कार्यों के लिए सुरक्षित, पर जटिल स्पेक से आसानी से भ्रमित।

Qwen ने क्या देखा

AutomationBench-AA और FrontierCode 2.0 उल्टे कौशल मापते हैं: Gemini 4 Argon ऑफ़िस वर्कफ़्लो को कुचल देता है (77.5%), पर असली मेंटेनर कोड मर्ज पर केवल 26.3%।

Terminal-Bench 4.0 कमांड-लाइन-मूल मॉडलों को तरजीह देता है, जहाँ Qwen 2.5 Coder 32B 65.2% पर पहुँचता है। यह साबित करता है कि टर्मिनल एजेंटों को GUI एजेंटों से अलग प्रशिक्षण चाहिए।