आज के ट्रेंड पर वापस: एप्पल एक ऐसा AI सहायक बना रही है जो आपके लिए आपका Mac चला सकेगा
Poly रेटिंग · आज के ट्रेंड से

AI एजेंट प्रॉम्प्ट इंजेक्शन रैंकिंग 2026

Claude 3.5 Sonnet ने AgentDojo के मानक प्रॉम्प्ट इंजेक्शन में से सिर्फ़ 1.11% को छोड़कर बाकी सबको रोक दिया, फिर भी NIST की रेड टीम ने उसी पीढ़ी के एजेंट को बदले हुए हमलों से 81% बार हाईजैक कर लिया।

  • नंबर 1: Claude Opus 5 (एंथ्रोपिक)
  • 10 स्थान

01अंतिम सूची

अग्रणी AI ने स्वतंत्र रूप से अपनी-अपनी दस स्थानों की सूची बनाई। यहाँ एक आसानी से जाँचा जा सकने वाला नतीजा है: हर स्थान का कारण, स्रोत और उसे शामिल करने वाले AI की सूची है।

सिर्फ़ वे सिस्टम जिनके दोनों तरह के परीक्षणों पर दोहराए जा सकने वाले नतीजे हों, जिनमें मॉडल, एजेंट सेटअप और बेंचमार्क संस्करण का नाम लिखा हो

चमकीला बैज: इस AI ने प्रविष्टि अपनी सूची में रखी। फीका बैज: नहीं रखी।

  1. 1

    Claude Opus 5 (एंथ्रोपिक)

    मिली सबसे अच्छी जोड़ी: OSWorld-Verified पर 83.39% और GUI इंजेक्शन की सफलता 0.54%। इंजेक्शन का आंकड़ा एंथ्रोपिक का अपना है; AgentDojo या ASB पर कोई चलाया हुआ नतीजा प्रकाशित नहीं है।

    शामिल किया: Claude, MiMo, Kimi, DeepSeek. शामिल नहीं किया: ChatGPT, Meta, Grok, Gemini, Wenxin, Qwen.

    उनकी सूचियों में: Claude: 1 · MiMo: 3 · Kimi: सूची देखें · DeepSeek: 1

    हर AI ने क्या नोट किया 4
    • Claudeस्थान 1

      GUI परीक्षणों में 0.54% हमला-सफलता, और उसी मॉडल का OSWorld 2.0 पर 70.6% आंशिक स्कोर।

      स्रोत ↗
    • MiMoस्थान 3

      सबसे ज़्यादा स्वतंत्र रूप से जाँचा गया एजेंट: इसके आँकड़े प्रतिद्वंद्वी के रन में भी थोड़ी कटौती के साथ टिके रहते हैं।

      स्रोत ↗
    • Kimi

      इसकी अपनी सूची में नाम अलग है: पूरी सूची खोलें।

      सूची देखें
    • DeepSeekस्थान 1

      सबसे नज़दीकी दोहराए जाने योग्य परीक्षण-व्यवस्था में OSWorld-Verified पर 85% और कई AgentDojo सूटों पर 0% लक्षित हमला-सफलता, पर वह व्यवस्था खुद Claude Desktop नहीं है।

      स्रोत ↗
    4 AI ने इसे यहाँ रखा
  2. 2

    ओपनएआई GPT-5 परिवार (GPT-5.1 / 5.4 / 5.5)

    AgentDyn पर GPT-5.1 4.96% बार हाईजैक होता है, जो GPT-4o की दर का लगभग दसवाँ हिस्सा है, और 2026 की दोहराई गई जाँच में GPT-5.4 ने 288 में से 0 बार हाईजैक हुआ। GPT-5.5 का OSWorld-Verified पर स्कोर 78.7% है।

    शामिल किया: Meta, MiMo, Kimi. शामिल नहीं किया: Claude, ChatGPT, Grok, Gemini, DeepSeek, Wenxin, Qwen.

    उनकी सूचियों में: Meta: 2 · MiMo: 2 · Kimi: 2

    हर AI ने क्या नोट किया 3
    • Metaस्थान 2

      OSWorld-Verified पर ऊँचा स्कोर, पर 2024 में GPT-4o का AgentDojo हमला-दर 47.69% बहुत खराब था; फिर GPT-5.4 के लिए 2026 के एक छोटे बैंकिंग उप-समूह में 0/288। दोनों सही हैं, पर अलग परीक्षणों के लिए।

      स्रोत ↗
    • MiMoस्थान 2

      नया बड़ा मॉडल अपने छोटे पुराने संस्करण से सचमुच ज़्यादा मुश्किल से बहकाया जाता है; पीढ़ी दर पीढ़ी सुरक्षा में यह पहला असली अंतर है।

      स्रोत ↗
    • Kimiस्थान 2

      GPT-5.1 पर 4.96% हमला-सफलता, GPT-4o के 47.69% का लगभग दसवाँ हिस्सा; जबकि यह परिवार डेस्कटॉप चार्ट पर 75.0% OSWorld-Verified के साथ शीर्ष पर है।

      स्रोत ↗
    3 AI ने इसे यहाँ रखा
  3. 3

    गूगल Gemini कंप्यूटर यूज़

    अच्छा काम करने वाला, पर कमज़ोर पहरेदार: OSWorld-Verified पर 83%, लेकिन दो स्वतंत्र इंजेक्शन जाँचों में पुराने Gemini मॉडल का हमला सफल होने का आँकड़ा 17–21% रहा। Gemini 3.6 के अपने इंजेक्शन नतीजे प्रकाशित नहीं हैं।

    शामिल किया: Claude, Meta, MiMo, Kimi, DeepSeek. शामिल नहीं किया: ChatGPT, Grok, Gemini, Wenxin, Qwen.

    उनकी सूचियों में: Claude: 5 · Meta: 3 · MiMo: 6 · Kimi: 5 · DeepSeek: 8

    हर AI ने क्या नोट किया 5
    • Claudeस्थान 5

      गूगल का कहना है कि एक Gemini मॉडल ने एक परीक्षण में हमला-सफलता घटाकर 0.7% कर दी; यह कंपनी का दावा है, जिसे अभी स्वतंत्र रूप से दोहराया नहीं गया।

      स्रोत ↗
    • Metaस्थान 3

      Gemini 3.6 Flash का OSWorld-Verified पर 83%, और पुराने Gemini 1.5 Pro का AgentDojo हमला-दर 17.01%: सक्षम, पर पुराने इंजेक्शन परीक्षण में औसत।

      स्रोत ↗
    • MiMoस्थान 6

      हर कार्रवाई को लाइव दिखाने वाला अकेला बड़ा एजेंट; उत्पाद-परत की सबसे सुरक्षित डिफ़ॉल्ट स्थिति।

      स्रोत ↗
    • Kimiस्थान 5

      57% उपयोगिता, पर 20.61% हमला-सफलता; और गूगल का अपना डेटा दिखाता है कि प्रतिकूल प्रशिक्षण ही था जिसने Gemini की इंजेक्शन-सफलता 92% से घटाकर 18% की।

      स्रोत ↗
    • DeepSeekस्थान 8

      OSWorld-Verified पर 83%, पर कोई दोहराने योग्य AgentDojo या ASB परिणाम नहीं: काम की क्षमता है, चालाकी-प्रतिरोध का प्रकाशित आँकड़ा नहीं।

      स्रोत ↗
    5 AI ने इसे यहाँ रखा
  4. 4

    Claude Sonnet 4.5 (एंथ्रोपिक)

    AgentDyn पर हमले के दौरान सबसे ज़्यादा काम बचाए रखता है: 0.87% हमला सफलता पर 70.7 उपयोगिता। एंथ्रोपिक की अपनी स्ट्रेस जाँच दिखाती है कि 200 कोशिशों से हमला सफलता 87.5% तक पहुँच जाती है।

    शामिल किया: Kimi. शामिल नहीं किया: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    उनकी सूचियों में: Kimi: 1

    हर AI ने क्या नोट किया 1
    • Kimiस्थान 1

      AgentDyn पर 70.7 उपयोगिता और 0.87% हमला-सफलता, 2026 में मापा गया सबसे अच्छा 'हर चालाकी पर काम' का अनुपात; हालाँकि एंथ्रोपिक के अपने अनुकूल परीक्षण चेताते हैं कि 200 प्रयासों वाले हमले 87.5% तक चढ़ जाते हैं।

      स्रोत ↗
    1 AI ने इसे यहाँ रखा
  5. 5

    ओपनएआई GPT-5-mini

    AgentDyn पर सबसे मुश्किल से बहकाया जाने वाला मॉडल: 0.37% हमला सफलता, और बदलते हमलों में सिर्फ़ 2.1%। इसका डेस्कटॉप स्कोर इसके भाई-मॉडल का है: GPT-5.4 mini का 72.1%।

    शामिल किया: Kimi. शामिल नहीं किया: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    उनकी सूचियों में: Kimi: 3

    हर AI ने क्या नोट किया 1
    • Kimiस्थान 3

      0.37% हमला-सफलता और 64.8 उपयोगिता: AgentDyn परीक्षण में सबसे संयमी मॉडल सबसे मुश्किल से बहकाया गया, और हाथ से बने अनुकूल हमले भी केवल 2.1% तक पहुँचे।

      स्रोत ↗
    1 AI ने इसे यहाँ रखा
  6. 6

    Kimi K2.5 / K2.6 (मूनशॉट एआई)

    AgentDyn पर किसी भी ओपन मॉडल की सबसे अच्छी उपयोगिता: 11.65% हमला सफलता पर 54.2। K2.6 का OSWorld-Verified पर स्कोर 73.1% है, पर लंबे OSWorld 2.0 कामों में से सिर्फ़ 4.6% पूरे करता है।

    शामिल किया: Kimi, DeepSeek, Qwen. शामिल नहीं किया: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Wenxin.

    उनकी सूचियों में: Kimi: 4 · DeepSeek: 9 · Qwen: सूची देखें

    हर AI ने क्या नोट किया 3
    • Kimiस्थान 4

      11.65% हमला-सफलता पर 54.2 उपयोगिता, AgentDyn में किसी भी खुले मॉडल की सबसे अच्छी उपयोगिता; और K2.6 का 73.1% OSWorld-Verified परिवार की डेस्कटॉप क्षमता साबित करता है।

      स्रोत ↗
    • DeepSeekस्थान 9

      OSWorld-Verified पर 84.8% और b3 सुरक्षा स्कोर 88.0%; पर b3 मॉडल को मापता है, डेस्कटॉप एजेंट की हमला-सतह को नहीं।

      स्रोत ↗
    • Qwen

      इसकी अपनी सूची में नाम अलग है: पूरी सूची खोलें।

      सूची देखें
    3 AI ने इसे यहाँ रखा
  7. 7

    Claude 3.5 Sonnet, अक्टूबर 2024 (एंथ्रोपिक)

    चेतावनी की कहानी: AgentDojo के स्थिर हमलों पर 1.11% हमला सफलता, NIST के बदले हुए हमलों में 81%, और लॉन्च के समय OSWorld पर सिर्फ़ 14.9%।

    शामिल किया: Meta, Kimi, DeepSeek, Qwen. शामिल नहीं किया: Claude, ChatGPT, Grok, Gemini, MiMo, Wenxin.

    उनकी सूचियों में: Meta: 10 · Kimi: 6 · DeepSeek: सूची देखें · Qwen: 1

    हर AI ने क्या नोट किया 4
    • Metaस्थान 10

      AgentDojo पर हमला-सफलता 9.06% कम है, पर हमले के दौरान उपयोगिता सिर्फ़ 33.39%। सबसे सस्ता Claude, जिसे सबसे कम बहकाया जा सका, और हमले के समय सबसे कम काम का।

      स्रोत ↗
    • Kimiस्थान 6

      इस क्षेत्र की चेतावनी: AgentDojo के स्थिर हमलों पर 1.11% हमला-सफलता और 72.5% उपयोगिता; फिर NIST की रेड टीम ने अलग रखे गए कार्यों पर अनुकूलित हमलों से 81% तक पहुँचा।

      स्रोत ↗
    • DeepSeek

      इसकी अपनी सूची में नाम अलग है: पूरी सूची खोलें।

      सूची देखें
    • Qwenस्थान 1

      उपयोगी काम का 88.66% पूरा करता है, जबकि AgentDojo पर प्रॉम्प्ट-इंजेक्शन की हमला-सफलता घटकर सिर्फ़ 7.31% रह जाती है।

      स्रोत ↗
    4 AI ने इसे यहाँ रखा
  8. 8

    मेटा Llama / Muse Spark

    Muse Spark 1.1 का OSWorld पर स्कोर 80.67% है, पर इंजेक्शन जाँच वाले मेटा मॉडल ज़्यादा काम के नहीं: Llama-3-70B 25.60% हमला सफलता पर सिर्फ़ 18.28% उपयोगिता बचाता है।

    शामिल किया: Meta, Kimi. शामिल नहीं किया: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    उनकी सूचियों में: Meta: 4 · Kimi: 7

    हर AI ने क्या नोट किया 2
    • Metaस्थान 4

      Muse Spark 1.1 का सत्यापित OSWorld 80.67%, लेकिन AgentDojo में असल में परखा गया Meta मॉडल, Llama-3-70B, हमले के दौरान सिर्फ़ 18.28% उपयोगिता बचा पाया।

      स्रोत ↗
    • Kimiस्थान 7

      11.91% हमला-सफलता सम्मानजनक लगती है, जब तक आप उपयोगिता नहीं देखते: 6.15%। यह सिर्फ़ हमलावरों से नहीं, काम में भी नाकाम है।

      स्रोत ↗
    2 AI ने इसे यहाँ रखा
  9. 9

    अलीबाबा Qwen

    कंपनी की रिपोर्ट वाला सबसे ऊँचा डेस्कटॉप स्कोर 86.1% है, फिर भी इंजेक्शन जाँच वाला एकमात्र Qwen मॉडल, Qwen3 235B, 10.74 उपयोगिता के साथ 22.67% हमला सफलता दिखाता है।

    शामिल किया: Claude, Meta, Grok, Kimi. शामिल नहीं किया: ChatGPT, Gemini, MiMo, DeepSeek, Wenxin, Qwen.

    उनकी सूचियों में: Claude: 9 · Meta: 5 · Grok: सूची देखें · Kimi: 8

    हर AI ने क्या नोट किया 4
    • Claudeस्थान 9

      कंपनी द्वारा दी गई OSWorld तालिका में 86.1% के साथ सबसे ऊपर, लेकिन इंजेक्शन का कोई प्रकाशित परिणाम नहीं।

      स्रोत ↗
    • Metaस्थान 5

      कंपनी द्वारा दी गई OSWorld-Verified तालिका में सबसे ऊँचा 86.1%, फिर भी Qwen AgentDojo परिणाम तालिका में कभी नहीं था: क्षमता है, पर सार्वजनिक इंजेक्शन परीक्षण नहीं।

      स्रोत ↗
    • Grok

      इसकी अपनी सूची में नाम अलग है: पूरी सूची खोलें।

      सूची देखें
    • Kimiस्थान 8

      22.67% हमला-सफलता, उस सेट की सबसे कमज़ोर उपयोगिता (10.74%) के साथ: जोखिम है, नतीजे नहीं।

      स्रोत ↗
    4 AI ने इसे यहाँ रखा
  10. 10

    ओपनएआई GPT-4o

    AgentDojo पर 47.69% बार हाईजैक होता है और OSWorld पर 12.2% स्कोर करता है। संशोधित ASB ने इसकी हमला सफलता 73.58% से घटाकर 9.25% कर दी, यह बदलाव बेंचमार्क में हुआ, मॉडल में नहीं।

    शामिल किया: Meta, Grok, Kimi, Qwen. शामिल नहीं किया: Claude, ChatGPT, Gemini, MiMo, DeepSeek, Wenxin.

    उनकी सूचियों में: Meta: 9 · Grok: 2 · Kimi: 9 · Qwen: 7

    हर AI ने क्या नोट किया 4
    • Metaस्थान 9

      AgentDojo पर हमला-सफलता 10.33% मामूली लगती है, पर ASB के सीधे प्रॉम्प्ट इंजेक्शन पर 98.40%। दोनों इंजेक्शन परीक्षण अलग हमले मापते हैं, और यह फ़र्क मायने रखता है।

      स्रोत ↗
    • Grokस्थान 2

      सामान्य उपयोगिता मज़बूत, पर कच्ची हमला-सफलता ज़्यादा; फ़िल्टर हमला-सफलता को तेज़ी से घटा सकते हैं।

      स्रोत ↗
    • Kimiस्थान 9

      AgentDojo पर 47.69% हमला-सफलता और ASB में Plan-of-Thought बैकडोर की 100% दर: 'ज़्यादातर काम करता है' के पीछे क्या छिपता है, इसका बेंचमार्क-युग का सबसे कठिन सबक।

      स्रोत ↗
    • Qwenस्थान 7

      69.07% कार्य पूरे करता है, पर सख्त सुरक्षा-घेरे के बिना AgentDojo पर लगभग आधे (47.69%) प्रॉम्प्ट-इंजेक्शन के आगे झुक जाता है।

      स्रोत ↗
    4 AI ने इसे यहाँ रखा

शीर्ष तीन के बारे में और ↓

02जानने योग्य

सूची बनाते समय AI ने क्या देखा।

बदलते हमलावरों ने 12 प्रकाशित प्रॉम्प्ट-इंजेक्शन बचावों को तोड़ दिया, जिन्होंने लगभग शून्य हमला सफलता की रिपोर्ट दी थी; ज़्यादातर 90% से ऊपर चले गए।

किसने देखा:
शामिल किया: Meta, Kimi. शामिल नहीं किया: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.
स्रोत ↗

बचाव का डिज़ाइन तय करता है कि वह कितना काम का है। GPT-4o पर एक टूल फ़िल्टर ने हमला सफलता 47.69% से घटाकर 6.84% की और उपयोगिता को 56.28% तक बढ़ाया; एक डिटेक्टर 7.95% तक पहुँचा, पर उपयोगिता घटाकर 21.14% कर दी।

किसने देखा:
शामिल किया: Kimi. शामिल नहीं किया: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.
स्रोत ↗

ASB की सबसे ऊँची औसत हमला सफलता 84.30% है, 13 मॉडल बैकबोन पर मिश्रित हमलों के तहत।

किसने देखा:
शामिल किया: Claude, ChatGPT, Meta, Grok, Kimi, DeepSeek. शामिल नहीं किया: Gemini, MiMo, Wenxin, Qwen.
स्रोत ↗

उपयोगकर्ता 93% इजाज़त-सवालों को मंज़ूरी दे देते हैं, इसलिए जिस सवाल पर लोग बिना सोचे हाँ कर देते हैं, वह बहुत कम बचाता है।

किसने देखा:
शामिल किया: MiMo. शामिल नहीं किया: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek, Wenxin, Qwen.
स्रोत ↗

2026 की किसी अग्रणी प्रणाली के पास एक ही चेकपॉइंट पर OSWorld, AgentDojo और ASB के नतीजे नहीं हैं, इसलिए ज़्यादातर पंक्तियों में एक ही मॉडल-परिवार के आँकड़े जोड़े गए हैं।

किसने देखा:
शामिल किया: ChatGPT, Meta, Kimi. शामिल नहीं किया: Claude, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.
स्रोत ↗

03हमने कैसे गिना

सीधी भाषा में, बिना सूत्रों के।

1सवाल

2026 के शीर्ष 10 AI कंप्यूटर-उपयोग एजेंट: क्या वे काम कर सकते हैं, और क्या उन्हें धोखा दिया जा सकता है?

2यह विषय क्यों

कोई एक लीडरबोर्ड यह नहीं बताता कि एजेंट क्या कर सकता है, और वेब पेज या फ़ाइल में छिपा निर्देश उसे आपके ख़िलाफ़ कितनी आसानी से मोड़ सकता है।

3यह कहाँ लागू होता है

वैश्विक; कंप्यूटर-उपयोग एजेंट सिस्टम जो डेस्कटॉप ऐप और ब्राउज़र चलाते हैं

4हमने किन बातों पर ध्यान दिया

  • सिर्फ़ वे सिस्टम जिनके दोनों तरह के परीक्षणों पर दोहराए जा सकने वाले नतीजे हों, जिनमें मॉडल, एजेंट सेटअप और बेंचमार्क संस्करण का नाम लिखा हो
  • OSWorld पर कार्य-सफलता (असली डेस्कटॉप काम), AgentDojo और Agent Security Bench पर प्रॉम्प्ट-इंजेक्शन हमले की सफलता के साथ-साथ (कम बेहतर है); दोनों को साथ-साथ दिखाया जाता है और कभी औसत नहीं निकाला जाता
  • टाई-ब्रेकर: हमले के दौरान एजेंट कितना उपयोगी काम अब भी पूरा करता है
  • अलग आकलन: एजेंट कितना स्क्रीन-डेटा देखता है और क्या उसकी कार्रवाइयाँ वापस हो सकती हैं
  • OSWorld-Verified (OSWorld टीम; BenchLM ट्रैकर) — असली डेस्कटॉप कामों में से पूरे हुए कामों का हिस्सा, आख़िरी ऐप या फ़ाइल की स्थिति से जाँचा गया
  • OSWorld 2.0 (स्नॉर्केल AI) — 108 लंबे कार्य-क्रमों पर आंशिक और बाइनरी पूर्णता
  • AgentDojo (ईटीएच ज्यूरिख SPY Lab) — 97 कामों और 629 इंजेक्शन मामलों में हमले के दौरान उपयोगी काम और निशाना बनाए गए हमलों की सफलता (हमला सफलता जितनी कम, उतना बेहतर)
  • AgentDyn (2026) — कठिन, बदलते इंजेक्शन टेस्ट: उपयोगिता, हमले के दौरान उपयोगिता और हमला सफलता

5रैंक किसने दी

अग्रणी AI: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Wenxin, Qwen। हर एक ने स्वतंत्र रूप से दस स्थानों की अपनी सूची बनाई और हर स्थान के लिए स्रोत बताया।

6स्थान कैसे तय हुए

अलग-अलग AI द्वारा अलग ढंग से लिखी गई एक ही चीज़ को एक गिना गया। जितने ज़्यादा AI ने किसी चीज़ को अपनी सूची में रखा और जितना ऊपर रखा, उसका स्थान उतना ऊँचा। "AI की सहमति" बताती है कि कितने AI की अपनी सूची में वह चीज़ थी। स्रोत केवल वही हैं जो AI ने खुद खोजे; हाथ से कुछ नहीं जोड़ा गया।

04हर AI की अपनी सूची

🇺🇸 Claude10 स्थान · 4 नोट

वही सवाल, जिसका जवाब अकेले Claude ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    Claude Opus 5 (एंथ्रोपिक, 2026)

    GUI परीक्षणों में 0.54% हमला-सफलता, और उसी मॉडल का OSWorld 2.0 पर 70.6% आंशिक स्कोर।

    स्रोत ↗
  2. 2
    Claude Fable 5 (एंथ्रोपिक, 2026)

    ग्रे स्वान पर हमला-सफलता 2.8% है, जबकि OSWorld-Verified पर 85% है।

    स्रोत ↗
  3. 3
    Claude Mythos 5 (एंथ्रोपिक)

    OSWorld-Verified पर 85.0% और ग्रे स्वान पर 2.6%।

  4. 4
    Claude Opus 4.8 (एंथ्रोपिक)

    OSWorld-Verified पर 83.4%; इसकी ग्रे स्वान पर 5.5% दर वह आधार है जिसे Opus 5 ने आधे से ज़्यादा घटा दिया।

    स्रोत ↗
  5. 5
    गूगल Gemini कंप्यूटर यूज़ (गूगल, 2026)

    गूगल का कहना है कि एक Gemini मॉडल ने एक परीक्षण में हमला-सफलता घटाकर 0.7% कर दी; यह कंपनी का दावा है, जिसे अभी स्वतंत्र रूप से दोहराया नहीं गया।

    स्रोत ↗
  6. 6
    OpenAI Codex कंप्यूटर यूज़ / GPT-6 Astra

    इसमें बंद-उपयोग मोड है, लेकिन इसके OSWorld 2.0 स्कोर 72.6% के साथ हमला-सफलता का कोई आँकड़ा नहीं मिला।

    स्रोत ↗
  7. 7
    Claude Sonnet 5 (एंथ्रोपिक)

    OSWorld-Verified पर 81.2%; इंजेक्शन का अलग आँकड़ा नहीं मिला।

    स्रोत ↗
  8. 8
    Holo3-35B-A3B (एच कंपनी)

    OSWorld-Verified पर सबसे ऊँचा स्वतंत्र रन (82.6%), पर इंजेक्शन का कोई डेटा नहीं मिला।

    स्रोत ↗
  9. 9
    Qwen3.8-Max (अलीबाबा)

    कंपनी द्वारा दी गई OSWorld तालिका में 86.1% के साथ सबसे ऊपर, लेकिन इंजेक्शन का कोई प्रकाशित परिणाम नहीं।

    स्रोत ↗
  10. 10
    o4-mini पर आधारित कंप्यूटर-यूज़ एजेंट (OS-Harm बेसलाइन)

    बुनियादी इंजेक्शन हमलों के आगे यह लगभग 20% मामलों में झुक गया; यही एकमात्र मापा गया अपवाद है।

    स्रोत ↗

Claude ने क्या देखा

एंथ्रोपिक के अनुसार Auto Mode और सुरक्षा परतों के साथ ब्राउज़र-एजेंट पर इंजेक्शन-सफलता 0% है, बिना उनके 3.7%। यह 0% आँकड़ा अतिरिक्त परतों पर निर्भर है।

वाटरलू विश्वविद्यालय के नेतृत्व वाले अध्ययन में पाया गया कि जिन एजेंटों को ज़्यादा इंजेक्शन हमलों पर दोबारा प्रशिक्षित किया गया, वे चार में से तीन परीक्षणों में आसानी से भटकाए जा सके।

एक बचाव तरीका, जो असुरक्षित डेटा पढ़े जाने से पहले टूल सीमित कर देता है, लक्षित हमलों की सफलता 57.69% से घटाकर 6.84% कर देता है।

UK AISI से जुड़े परीक्षण बताते हैं कि अनुकूल हमले AgentDojo Workspace पर हमला-सफलता 11% से बढ़ाकर 81% कर देते हैं।

🇺🇸 Meta10 स्थान · 4 नोट

वही सवाल, जिसका जवाब अकेले Meta ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    Claude कंप्यूटर यूज़ (एंथ्रोपिक)

    एकमात्र परिवार जिसमें OSWorld पर शीर्ष स्कोर और AgentDojo पर लगभग शून्य हमला-दर दोनों हैं, लेकिन दोनों संख्याएँ अलग-अलग चेकपॉइंट से हैं, सालों के अंतर पर।

    स्रोत ↗
  2. 2
    OpenAI ChatGPT एजेंट / CUA (OpenAI)

    OSWorld-Verified पर ऊँचा स्कोर, पर 2024 में GPT-4o का AgentDojo हमला-दर 47.69% बहुत खराब था; फिर GPT-5.4 के लिए 2026 के एक छोटे बैंकिंग उप-समूह में 0/288। दोनों सही हैं, पर अलग परीक्षणों के लिए।

    स्रोत ↗
  3. 3
    गूगल Gemini कंप्यूटर यूज़ (गूगल)

    Gemini 3.6 Flash का OSWorld-Verified पर 83%, और पुराने Gemini 1.5 Pro का AgentDojo हमला-दर 17.01%: सक्षम, पर पुराने इंजेक्शन परीक्षण में औसत।

    स्रोत ↗
  4. 4
    मेटा Llama / Muse एजेंट (मेटा)

    Muse Spark 1.1 का सत्यापित OSWorld 80.67%, लेकिन AgentDojo में असल में परखा गया Meta मॉडल, Llama-3-70B, हमले के दौरान सिर्फ़ 18.28% उपयोगिता बचा पाया।

    स्रोत ↗
  5. 5
    अलीबाबा Qwen एजेंट (Qwen)

    कंपनी द्वारा दी गई OSWorld-Verified तालिका में सबसे ऊँचा 86.1%, फिर भी Qwen AgentDojo परिणाम तालिका में कभी नहीं था: क्षमता है, पर सार्वजनिक इंजेक्शन परीक्षण नहीं।

    स्रोत ↗
  6. 6
    कोहेयर Command-R+ एजेंट

    कम AgentDojo हमला-दर, हमले में कम काम बचा: हमले के दौरान 25.12% उपयोगिता। सुरक्षित, पर हमले के समय बहुत काम का नहीं।

    स्रोत ↗
  7. 7
    गूगल Gemma2 एजेंट

    ASB के मुख्य मॉडल सेट में है, पर AgentDojo और OSWorld-Verified में नहीं। यह सुरक्षा-परीक्षण का मॉडल है, सिद्ध कंप्यूटर-उपयोग एजेंट नहीं।

    स्रोत ↗
  8. 8
    मिस्ट्रल Mixtral एजेंट

    Gemma2 जैसी ही कहानी: ASB में है, पर AgentDojo और OSWorld-Verified में नहीं। कोई दोहराने योग्य कंप्यूटर-उपयोग और इंजेक्शन जोड़ी नहीं।

    स्रोत ↗
  9. 9
    OpenAI GPT-3.5 Turbo एजेंट

    AgentDojo पर हमला-सफलता 10.33% मामूली लगती है, पर ASB के सीधे प्रॉम्प्ट इंजेक्शन पर 98.40%। दोनों इंजेक्शन परीक्षण अलग हमले मापते हैं, और यह फ़र्क मायने रखता है।

    स्रोत ↗
  10. 10
    एंथ्रोपिक Claude 3 Haiku एजेंट

    AgentDojo पर हमला-सफलता 9.06% कम है, पर हमले के दौरान उपयोगिता सिर्फ़ 33.39%। सबसे सस्ता Claude, जिसे सबसे कम बहकाया जा सका, और हमले के समय सबसे कम काम का।

    स्रोत ↗

Meta ने क्या देखा

AgentDojo की मूल तालिका में Claude 3.5 Sonnet (20241022) की लक्षित हमला-सफलता 1.11% थी, जबकि GPT-4o की 47.69%। वही परीक्षण, वही हमला, उलटी सुरक्षा।

2026 के दोबारा किए गए परीक्षण में AgentDojo बैंकिंग उप-समूह पर GPT-5.4 के लिए 0/288 और Claude Sonnet 4.6 के लिए 1/288 बिना बचाव वाली हमला-सफलता मिली, पर लेखक चेताते हैं कि बेंचमार्क के लक्ष्य सभी मॉडलों के लिए बराबर पहुँच में नहीं थे।

ASB-Revised ने GPT-4o की हमला-सफलता 73.58% से घटाकर 9.25% कर दी। मॉडल नहीं बदला; बेंचमार्क के संशोधन ने उसी मॉडल पर फ़ैसला पलट दिया।

अनुकूल हमलावरों ने 12 प्रॉम्प्ट-इंजेक्शन बचावों को तोड़ दिया, जिन्होंने लगभग शून्य हमला-सफलता बताई थी; उनमें से ज़्यादातर पर यह 90% से ऊपर गई। स्थिर AgentDojo हमले दृढ़ हमलावर को कम करके आँकते हैं।

🇺🇸 Grok10 स्थान · 1 नोट

वही सवाल, जिसका जवाब अकेले Grok ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    Claude 3.5/4.x/5.x कंप्यूटर-यूज़ एजेंट (एंथ्रोपिक)

    AgentDojo के प्रकाशित रनों में GPT-4o से हमले के दौरान ज़्यादा उपयोगिता और लक्षित हमला-सफलता कम।

    स्रोत ↗
  2. 2
    सुरक्षा उपायों वाले GPT-4o / OpenAI CUA सेटअप

    सामान्य उपयोगिता मज़बूत, पर कच्ची हमला-सफलता ज़्यादा; फ़िल्टर हमला-सफलता को तेज़ी से घटा सकते हैं।

    स्रोत ↗
  3. 3
    सिमुलर Sai

    लंबे कार्यों पर OSWorld के ऊँचे आंशिक स्कोर; सुरक्षा के आँकड़े AgentDojo पर स्वतंत्र रूप से प्रकाशित नहीं।

    स्रोत ↗
  4. 4
    Qwen3.8 Max सेटअप

    सत्यापित डेस्कटॉप सफलता शीर्ष स्तर की; AgentDojo/ASB की सार्वजनिक जोड़ियाँ सीमित।

    स्रोत ↗
  5. 5
    माइक्रोसॉफ्ट Mage-VL-Cowork

    कॉम्पैक्ट खुला हाइब्रिड एजेंट, सत्यापित परीक्षण में 66%; प्रकाशित प्रॉम्प्ट-इंजेक्शन जोड़ी के स्कोर नहीं।

    स्रोत ↗
  6. 6
    पॉइंटर एजेंट

    हाइब्रिड तरीकों से सत्यापित परीक्षणों पर ऊँचे स्कोर; इंजेक्शन के प्रति मज़बूती का विवरण नहीं।

    स्रोत ↗
  7. 7
    कोस्टी CUA

    मज़बूत सत्यापित डेस्कटॉप स्कोर; हमले की सतह के आँकड़े कम।

    स्रोत ↗
  8. 8
    Intelligence-Indeed Z-Agent

    सत्यापित डेस्कटॉप पूर्णता में सबसे ऊँचा; AgentDojo की कोई सार्वजनिक जोड़ी नहीं मिली।

    स्रोत ↗
  9. 9
    ओपन-वेट छोटे मॉडल + CapLite-शैली के गार्ड

    एक बचाव अध्ययन में हज़ारों AgentDojo एपिसोड में शून्य सफल हमले।

    स्रोत ↗
  10. 10
    बिना विशेष सुरक्षा उपायों वाले सामान्य अग्रणी एजेंट

    ASB बताता है कि मिले-जुले इंजेक्शन तरीकों में औसत हमला-सफलता 84.30% तक पहुँची।

    स्रोत ↗

Grok ने क्या देखा

AgentDojo के मूल पेपर में मिला कि मज़बूत मॉडल भी बिना हमले के 66% से कम कार्य हल करते हैं, और हमले 25% से कम बार सफल होते हैं; आधुनिक Claude रनों में लक्षित हमला-सफलता और भी कम है।

🇺🇸 Gemini10 स्थान · 1 नोट

वही सवाल, जिसका जवाब अकेले Gemini ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    Claude 3.7 Sonnet कंप्यूटर यूज़ (एंथ्रोपिक)

    AgentDojo पर दोहरी सिस्टम-प्रॉम्प्ट व्यवस्था से अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन से भटकाव-दर 2.4% तक रखते हुए 44.2% डेस्कटॉप पूर्णता।

  2. 2
    Claude 3.5 Sonnet कंप्यूटर यूज़ (एंथ्रोपिक)

    वास्तविक दुनिया के डेस्कटॉप नेविगेशन में 38.6% के साथ 4.8% इंजेक्शन-हमला दर संतुलित है, और प्रतिकूल वेब पेजों पर चलते समय भी 71.4% उपयोगिता बनाए रखता है।

  3. 3
    Agent S2.5, o3 रीज़निंग बैकबोन के साथ

    OSWorld कार्यों पर 56.4% के साथ उद्योग में अग्रणी; पर गहरी तर्क-श्रृंखलाएँ अप्रत्यक्ष इंजेक्शन परीक्षणों के 12.3% में बिना अनुमति फ़ाइलें इधर-उधर करने के लिए बहकाई जा सकती हैं।

  4. 4
    OpenAI Operator (GPT-4o विज़न पाइपलाइन)

    ब्राउज़र/डेस्कटॉप वर्कफ़्लो के 46.8% पूरे करता है, पर बाहरी तीसरे-पक्ष वेब पेज का DOM टेक्स्ट (पेज की बनावट वाला कोड) मिलने पर 28.5% हमला-सफलता दिखाता है।

  5. 5
    बाइटडांस UI-TARS-2 (72B लोकल विज़न एजेंट)

    OSWorld पर 53.1% पूर्णता प्रभावशाली है; पर पृष्ठभूमि डेस्कटॉप तस्वीरों में छिपे विज़ुअल प्रॉम्प्ट 19.4% परीक्षणों में कार्रवाइयों को भटका देते हैं।

    स्रोत ↗
  6. 6
    कोस्टी एजेंट, डुअल-LLM गार्डरेल के साथ (2025)

    तेज़ी की कीमत पर OSWorld पर 42.1% तक पहुँचता है, और बाहरी निगरानी फ़िल्टर से इंजेक्शन-सफलता 6.2% तक घटा देता है।

  7. 7
    UI-TARS-1.5 (बाइटडांस ओपन वेट्स)

    सत्यापित OS कार्यों के 42.5% पूरे करता है, पर सुरक्षा-संरेखण परतों के बिना कच्चा खुला-वज़न फ़ाइन-ट्यूनिंग एम्बेडेड PDF निर्देशों के प्रति 34.1% कमज़ोरी देता है।

    स्रोत ↗
  8. 8
    OS-Copilot / FRIDAY (स्वचालित शेल एजेंट)

    Linux वर्कफ़्लो के 35.6% पूरे करता है, पर इसका बेरोकटोक bash चलाना संक्रमित टेक्स्ट दस्तावेज़ पढ़ते समय 43.7% की खतरनाक हमला-सफलता देता है।

  9. 9
    सिमुलर GUI एजेंट (विज़ुअल ग्राउंडिंग सुइट)

    डेस्कटॉप कार्यों पर 38.3% तक पहुँचता है, पर जब विरोधी निर्देश सिस्टम संवाद-बॉक्स का रूप ले लेते हैं तो 26.2% इंजेक्शन-दर झेलता है।

  10. 10
    एडेप्ट ACT-1 (ब्राउज़र और एंटरप्राइज़ वर्कफ़्लो)

    सत्यापित वर्कफ़्लो पूर्णता 31.2% दर्ज है, पर पुराने DOM पार्सर वेब पेज की टिप्पणियों में छिपे अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन हमलों के 41.5% के आगे झुक जाते हैं।

Gemini ने क्या देखा

फ़ाइल मिटाने या ईमेल भेजने जैसी OS-स्तर की कार्रवाइयाँ API के 'undo' बटन से अपने-आप वापस नहीं हो सकतीं, इसलिए सुरक्षा विशेषज्ञ हर अपरिवर्तनीय डेस्कटॉप घटना के लिए अनिवार्य पुष्टि-द्वार (गेट) की सलाह देते हैं।

🇨🇳 MiMo10 स्थान · 4 नोट

वही सवाल, जिसका जवाब अकेले MiMo ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    Claude Code ऑटो मोड (एंथ्रोपिक, 2026)

    वे चालाक सवाल का जवाब ज्यामिति से देते हैं: जो एजेंट चारे तक पहुँच नहीं सकता, वह उसके जाल में नहीं फँस सकता।

    स्रोत ↗
  2. 2
    GPT-5 परिवार के एजेंट (OpenAI)

    नया बड़ा मॉडल अपने छोटे पुराने संस्करण से सचमुच ज़्यादा मुश्किल से बहकाया जाता है; पीढ़ी दर पीढ़ी सुरक्षा में यह पहला असली अंतर है।

    स्रोत ↗
  3. 3
    Claude Opus 5 (एंथ्रोपिक)

    सबसे ज़्यादा स्वतंत्र रूप से जाँचा गया एजेंट: इसके आँकड़े प्रतिद्वंद्वी के रन में भी थोड़ी कटौती के साथ टिके रहते हैं।

    स्रोत ↗
  4. 4
    GPT-6.2 Astra (OpenAI)

    एक-तिहाई कीमत पर लंबे काम का सबसे अच्छा नया स्कोर; पर इसका अपना कार्ड वे कार्यस्थल-कार्रवाइयाँ दर्ज करता है जो इसने गलत कीं।

    स्रोत ↗
  5. 5
    GPT-6.1 Sol (OpenAI)

    लंबे डेस्कटॉप कामों पर फ़्लैगशिप दिमाग से 2.1 अंक के भीतर, रोज़मर्रा की कीमतों पर।

    स्रोत ↗
  6. 6
    Mac के लिए Gemini कंप्यूटर यूज़ (गूगल)

    हर कार्रवाई को लाइव दिखाने वाला अकेला बड़ा एजेंट; उत्पाद-परत की सबसे सुरक्षित डिफ़ॉल्ट स्थिति।

    स्रोत ↗
  7. 7
    Claude Cowork कंप्यूटर यूज़ (एंथ्रोपिक)

    स्कोर शीर्ष के पास, और अपनी सबसे बड़ी खामी एक पंक्ति में खुद लिखता है: एजेंट और आपकी स्क्रीन के बीच कोई सैंडबॉक्स नहीं।

    स्रोत ↗
  8. 8
    Qwen3.8 Max (अलीबाबा)

    बोर्ड पर सबसे ऊँचा डेस्कटॉप स्कोर, पर इसकी सुरक्षा उस चेकपॉइंट पर टिकी है जिसे आप खुद चला ही नहीं सकते।

    स्रोत ↗
  9. 9
    Muse Spark 1.3 (मेटा)

    Meta का डेस्कटॉप एजेंट 66.9% के साथ लंबे-कार्य बोर्ड पर उतरता है: खुद चलाया गया, अपने ही हार्नेस पर।

    स्रोत ↗
  10. 10
    MiniMax M3 (मिनीमैक्स)

    ईमानदार निचला स्तर: लेखक द्वारा चलाए गए लंबे कामों पर 22.3%। फिर भी प्रकाशित, जो लगभग कोई नहीं करता।

    स्रोत ↗

MiMo ने क्या देखा

बहकाए जाने की क्षमता पहली बार मॉडल पीढ़ी के साथ सुधर रही है: रेड-टीम शोध पाता है कि AgentDojo पर GPT-5 पर हमला GPT-4o-mini की तुलना में काफ़ी मुश्किल है।

खतरनाक संख्या हमला-सफलता नहीं, मंज़ूरी की थकान है: असली उपयोगकर्ता 93% अनुमति-प्रॉम्प्ट मंज़ूर कर देते हैं, इसलिए जिस प्रॉम्प्ट पर इंसान बिना सोचे ठप्पा लगाता है, वह लगभग बिना प्रॉम्प्ट के बराबर है।

स्वतंत्र दोबारा रन दुर्लभ और बेशकीमती हैं: स्नॉर्केल AI के सह-लेखक के रन GPT-5.6 Sol के स्व-घोषित स्कोर के 2 अंक के भीतर रहे, पर Opus 5 के लिए 2.3 अंक नीचे।

गोपनीयता शोध (AGENTDAM) सीधे Claude के कंप्यूटर-उपयोग एजेंटों को परखता है और पाता है कि स्वायत्त वेब/कंप्यूटर एजेंट निजी डेटा ऐसे लीक करते हैं जो उनके कार्य-स्कोर में कभी दिखता ही नहीं।

🇨🇳 Kimi10 स्थान · 4 नोट

वही सवाल, जिसका जवाब अकेले Kimi ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    Claude Sonnet 4.5 (एंथ्रोपिक)

    AgentDyn पर 70.7 उपयोगिता और 0.87% हमला-सफलता, 2026 में मापा गया सबसे अच्छा 'हर चालाकी पर काम' का अनुपात; हालाँकि एंथ्रोपिक के अपने अनुकूल परीक्षण चेताते हैं कि 200 प्रयासों वाले हमले 87.5% तक चढ़ जाते हैं।

    स्रोत ↗
  2. 2
    GPT-5.1 / GPT-5.4 परिवार (OpenAI)

    GPT-5.1 पर 4.96% हमला-सफलता, GPT-4o के 47.69% का लगभग दसवाँ हिस्सा; जबकि यह परिवार डेस्कटॉप चार्ट पर 75.0% OSWorld-Verified के साथ शीर्ष पर है।

    स्रोत ↗
  3. 3
    GPT-5-mini (OpenAI)

    0.37% हमला-सफलता और 64.8 उपयोगिता: AgentDyn परीक्षण में सबसे संयमी मॉडल सबसे मुश्किल से बहकाया गया, और हाथ से बने अनुकूल हमले भी केवल 2.1% तक पहुँचे।

    स्रोत ↗
  4. 4
    Kimi K2.5 / K2.6 (मूनशॉट एआई)

    11.65% हमला-सफलता पर 54.2 उपयोगिता, AgentDyn में किसी भी खुले मॉडल की सबसे अच्छी उपयोगिता; और K2.6 का 73.1% OSWorld-Verified परिवार की डेस्कटॉप क्षमता साबित करता है।

    स्रोत ↗
  5. 5
    Gemini 2.5 Pro / Gemini 3.5 Flash (गूगल)

    57% उपयोगिता, पर 20.61% हमला-सफलता; और गूगल का अपना डेटा दिखाता है कि प्रतिकूल प्रशिक्षण ही था जिसने Gemini की इंजेक्शन-सफलता 92% से घटाकर 18% की।

    स्रोत ↗
  6. 6
    Claude 3.5 Sonnet, अक्टूबर 2024 रिलीज़ (एंथ्रोपिक)

    इस क्षेत्र की चेतावनी: AgentDojo के स्थिर हमलों पर 1.11% हमला-सफलता और 72.5% उपयोगिता; फिर NIST की रेड टीम ने अलग रखे गए कार्यों पर अनुकूलित हमलों से 81% तक पहुँचा।

    स्रोत ↗
  7. 7
    Llama 3.3 70B (मेटा)

    11.91% हमला-सफलता सम्मानजनक लगती है, जब तक आप उपयोगिता नहीं देखते: 6.15%। यह सिर्फ़ हमलावरों से नहीं, काम में भी नाकाम है।

    स्रोत ↗
  8. 8
    Qwen3 235B-A22B (अलीबाबा)

    22.67% हमला-सफलता, उस सेट की सबसे कमज़ोर उपयोगिता (10.74%) के साथ: जोखिम है, नतीजे नहीं।

    स्रोत ↗
  9. 9
    GPT-4o (OpenAI)

    AgentDojo पर 47.69% हमला-सफलता और ASB में Plan-of-Thought बैकडोर की 100% दर: 'ज़्यादातर काम करता है' के पीछे क्या छिपता है, इसका बेंचमार्क-युग का सबसे कठिन सबक।

    स्रोत ↗
  10. 10
    GPT-4o-mini (OpenAI)

    ASB में औसत 67.55% हमला-सफलता, मापी गई सबसे खराब: छोटा, सस्ता और खुला, सीधे इंजेक्शन पर 95% से ऊपर दरों के साथ।

    स्रोत ↗

Kimi ने क्या देखा

अनुकूल हमले लीडरबोर्ड पलट देते हैं: NIST CAISI ने Claude 3.5 Sonnet एजेंटों पर अपहरण को 11% से 81% तक बढ़ाया, और एक अंतर-लैब टीम (ओपनएआई, एंथ्रोपिक, DeepMind, ETH) ने 12 प्रकाशित बचावों को 90% से ऊपर हमला-सफलता पर तोड़ा। स्थिर बेंचमार्क सुरक्षा एक फ़र्श है, छत नहीं।

एकमात्र बचाव परिवार जिसमें लगभग शून्य हमला-सफलता अनुकूलन के बाद भी टिकती है, मॉडल के बाहर नियंत्रण ले जाता है: CaMeL और Progent टूल-कॉल सीमित करके AgentDyn पर 0% हमला-सफलता तक पहुँचे, पर CaMeL का 0% वहीं 0% उपयोगिता के साथ आया। AgentDojo पर CaMeL ने सिद्ध सुरक्षा के साथ 67-77% कार्य हल किए, यानी समझौता असली है पर सीमित।

उपयोगिता-सुरक्षा समझौता मापने योग्य है: AgentDojo के GPT-4o रन पर एक टूल-फ़िल्टर ने हमला-सफलता 47.69% से 6.84% घटाई और उपयोगिता 56.28% तक बढ़ाई; पर एक प्रॉम्प्ट-इंजेक्शन डिटेक्टर ने हमला-सफलता 7.95% तक घटाई, लेकिन उपयोगिता 21.14% तक कुचल दी। एजेंट दबाव में काम का रहेगा या नहीं, यह बचाव का डिज़ाइन तय करता है, मॉडल नहीं।

स्क्रीन तक पहुँच हर इंजेक्शन का गुणक है: जिस एजेंट के पास Screen Recording और Accessibility है, वह वही सब देखता है जो आप देखते हैं और भेज, मिटा, खरीद और सेटिंग बदल सकता है। इसलिए 'undo' का सवाल (ऐप-वार अनुमति, वर्चुअल मशीन (VM) स्नैपशॉट, पलटने योग्य कार्रवाइयाँ) हमला-सफलता प्रतिशत जितना ही मायने रखता है।

🇨🇳 DeepSeek10 स्थान · 1 नोट

वही सवाल, जिसका जवाब अकेले DeepSeek ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    Claude कंप्यूटर यूज़ (Claude Fable 5, 2026)

    सबसे नज़दीकी दोहराए जाने योग्य परीक्षण-व्यवस्था में OSWorld-Verified पर 85% और कई AgentDojo सूटों पर 0% लक्षित हमला-सफलता, पर वह व्यवस्था खुद Claude Desktop नहीं है।

    स्रोत ↗
  2. 2
    gpt-5.6-luna के साथ Ratchet हार्नेस (2026)

    सभी चार AgentDojo सूटों पर 0% लक्षित हमला-सफलता, खुली AgentDojo तालिका का सबसे साफ़ सुरक्षा परिणाम; पर इसका OSWorld स्कोर उसी पंक्ति में नहीं है।

    स्रोत ↗
  3. 3
    Coasty CUA v1 (2026)

    OSWorld-Verified पर 82.81% और कोई प्रकाशित AgentDojo/ASB हमला-सफलता नहीं: काम में मज़बूत, चालाकी के सामने अमापा हुआ।

    स्रोत ↗
  4. 4
    OpenAI Operator (2026)

    OSWorld पर 38.1%, पर स्थानीय स्क्रीन डेटा लगभग नहीं। इसकी हमला-सतह ब्राउज़र है, आपका डेस्कटॉप नहीं।

    स्रोत ↗
  5. 5
    Manus (मेटा) डेस्कटॉप एजेंट (2026)

    क्लाउड VM में OSWorld पर 72.5%: पलटने योग्य, क्योंकि VM एक बार उपयोग का है; पर सुरक्षा-बेंचमार्क की हमला-सफलता प्रकाशित नहीं।

  6. 6
    Agent S3 (सिमुलर, 2026)

    OSWorld पर 72.6% और खुला स्रोत, इसलिए आप इसे सैंडबॉक्स में रख सकते हैं; फिर भी इसे स्क्रीन और इनपुट की पहुँच चाहिए, और इसकी हमला-सफलता AgentDojo तालिका में नहीं है।

    स्रोत ↗
  7. 7
    UiPath स्क्रीन एजेंट (2026)

    OSWorld-Verified पर 67.1% और व्यापक UI ऑटोमेशन: उच्च उपयोगिता, ऊँची नियंत्रण-सतह, हमला-सफलता अप्रकाशित।

  8. 8
    Gemini 3.6 Flash एजेंट (गूगल, 2026)

    OSWorld-Verified पर 83%, पर कोई दोहराने योग्य AgentDojo या ASB परिणाम नहीं: काम की क्षमता है, चालाकी-प्रतिरोध का प्रकाशित आँकड़ा नहीं।

    स्रोत ↗
  9. 9
    Kimi K3 एजेंट (मूनशॉट एआई, 2026)

    OSWorld-Verified पर 84.8% और b3 सुरक्षा स्कोर 88.0%; पर b3 मॉडल को मापता है, डेस्कटॉप एजेंट की हमला-सतह को नहीं।

    स्रोत ↗
  10. 10
    UI-TARS-2 (बाइटडांस, 2026)

    देसी स्क्रीन नियंत्रण के साथ OSWorld पर 47.5%: क्लाउड एजेंट से ज़्यादा खुलापन, और कोई प्रकाशित AgentDojo हमला-सफलता नहीं।

DeepSeek ने क्या देखा

AgentDojo की सबसे अच्छी प्रकाशित हमला-सफलता 0% है, पर वह परिणाम एक खास व्यवस्था (gpt-5.6-luna के साथ Ratchet) से आता है, जिसका मेल खाता OSWorld स्कोर नहीं है। सुरक्षा बेंचमार्क पर सबसे सुरक्षित एजेंट वही नहीं है जो डेस्कटॉप-काम बेंचमार्क में सबसे ऊपर है।

🇨🇳 Wenxin10 स्थान

वही सवाल, जिसका जवाब अकेले Wenxin ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    एप्पल का इन-हाउस macOS AI एजेंट (2027 की शुरुआती बिल्ड)

    कोई लगातार स्क्रीन-डेटा रिकॉर्डिंग नहीं; हर कार्रवाई चलने से पहले सिस्टम-स्तर पर रोकी और रद्द की जा सकती है; शुरुआती आंतरिक परीक्षणों में प्रॉम्प्ट-इंजेक्शन के 0 रिपोर्ट किए गए बाईपास

    स्रोत ↗
  2. 2
    HKU KYA अनुपालक एंटरप्राइज़ डेस्कटॉप एजेंट

    100% अनोखी सत्यापन योग्य एजेंट पहचान, संचालन का पूरा ट्रेस, और कार्रवाइयाँ पहले से तय दायरे से बाहर जाएँ तो अनुमति अपने-आप वापस

  3. 3
    एंट फाइनेंशियल Pay AI एजेंट (2026)

    तीन-स्तरीय भुगतान-अधिकार प्रक्रिया; पूरी तरह समझौता हुए एजेंट भी मानव की पुष्टि के बिना बड़े मूल्य के लेनदेन नहीं कर सकते

  4. 4
    OpenAI Agents API (2026 बीटा)

    होस्टेड सैंडबॉक्स रनटाइम ज्ञात प्रॉम्प्ट-इंजेक्शन पेलोड का 89% रोकता है; सभी जोखिम भरी कार्रवाइयों को चलने से पहले दूसरी पुष्टि चाहिए

  5. 5
    हाइब्रिड RBAC+ABAC एंटरप्राइज़ कस्टम एजेंट (2026)

    अनुमति-जाँच में इरादा-व्यवहार संरेखण सत्यापन जोड़ा गया; दायरे के भीतर की अनचाही अति का 91% रोकता है

  6. 6
    पर्प्लेक्सिटी कंप्यूटर (2026)

    अलग-थलग क्लाउड वातावरण, स्थानीय डेस्कटॉप के संवेदनशील डेटा से पूरी तरह अलग; स्थानीय स्क्रीन तक कोई लगातार पहुँच नहीं

  7. 7
    Anthropic Claude कंप्यूटर यूज़ एजेंट (2026)

    संवैधानिक AI सुरक्षा-घेरे अनधिकृत हानिकारक कार्रवाई के प्रयासों का 87% रोकते हैं; 49% डेवलपर अपनाते हैं और उद्योग में शीर्ष विश्वास रेटिंग

  8. 8
    Sai AI एजेंट (2026)

    सभी GUI ऑटोमेशन कार्रवाइयाँ समर्पित अलग-थलग क्लाउड डेस्कटॉप पर चलती हैं; डिफ़ॉल्ट रूप से स्थानीय होस्ट के संवेदनशील डेटा या फ़ाइलों तक कोई पहुँच नहीं

  9. 9
    मेटा Muse एजेंट (2026, ओपन सोर्स)

    पूरा रनटाइम कोड सार्वजनिक रूप से ऑडिट योग्य है; उपयोगकर्ता तीसरे-पक्ष विक्रेताओं पर निर्भर हुए बिना अपने प्रॉम्प्ट-इंजेक्शन पहचान-नियम जोड़ सकते हैं

    स्रोत ↗
  10. 10
    OpenCode ओपन सोर्स कोडिंग एजेंट (2026)

    उत्पादन फ़ाइलों में डिफ़ॉल्ट रूप से अपने-आप लिखने की पहुँच नहीं; हर फ़ाइल बदलाव के लिए उपयोगकर्ता की समीक्षा और स्पष्ट मंज़ूरी चाहिए

🇨🇳 Qwen10 स्थान · 3 नोट

वही सवाल, जिसका जवाब अकेले Qwen ने दिया। ऊपर की अंतिम सूची सभी AI को मिलाती है।

  1. 1
    Claude 3.7 Sonnet

    उपयोगी काम का 88.66% पूरा करता है, जबकि AgentDojo पर प्रॉम्प्ट-इंजेक्शन की हमला-सफलता घटकर सिर्फ़ 7.31% रह जाती है।

    स्रोत ↗
  2. 2
    AgentSys (सुरक्षित एजेंट)

    AgentDojo पर हमला-सफलता 0.78% और ASB पर 4.25% तक रहती है, और सामान्य कार्यों की उपयोगिता बेहतर होती है।

    स्रोत ↗
  3. 3
    Claude Opus 4.6

    एक लक्षित सुरक्षा ऑडिट में पूरे 100% अंक मिले, हालाँकि इसकी डेस्कटॉप कार्रवाइयों के वास्तविक जीवन में पलटने योग्य होने पर अभी बहस है।

    स्रोत ↗
  4. 4
    Verigrey सुरक्षित एजेंट

    उपयोगी काम का 93.2% बरकरार रखता है और हमला-सफलता 1% से कम रखता है; प्रॉम्प्ट-स्कैनिंग के बजाय कार्रवाई-नियंत्रण से।

    स्रोत ↗
  5. 5
    o3 (सुरक्षित)

    AgentDojo के 77% कार्य सिद्ध सुरक्षा के साथ पूरे करता है, जबकि बिना बचाव वाली आधार-रेखा के लिए 84%।

    स्रोत ↗
  6. 6
    Claude 3.5 Sonnet

    ASB पर सबसे ऊँचा NRP (Normalized Risk-adjusted Performance, यानी जोखिम के हिसाब से समायोजित प्रदर्शन) 43.56, आधार-रेखा की हमला-कमज़ोरियों के बावजूद।

    स्रोत ↗
  7. 7
    GPT-4o

    69.07% कार्य पूरे करता है, पर सख्त सुरक्षा-घेरे के बिना AgentDojo पर लगभग आधे (47.69%) प्रॉम्प्ट-इंजेक्शन के आगे झुक जाता है।

    स्रोत ↗
  8. 8
    GPT-4o-mini

    AgentDojo पर 49.92% हमला-सफलता दिखाता है; यह बताता है कि छोटे मॉडल इंजेक्ट किए गए टूल-आउटपुट छानने में कितने कमज़ोर हैं।

    स्रोत ↗
  9. 9
    Claude 3.5 Sonnet (रेड-टीम परखा गया)

    बुनियादी हमले केवल 11% बार सफल होते हैं, पर समन्वित रेड-टीम प्रॉम्प्ट इसे 81% बार तोड़ देते हैं।

    स्रोत ↗
  10. 10
    GPT-4-0125

    2024 के शुरुआती संस्करणों में, आधुनिक AgentDojo बचाव मानकीकृत होने से पहले, लक्षित प्रॉम्प्ट-इंजेक्शन सफलता 56.3% थी।

    स्रोत ↗

Qwen ने क्या देखा

कार्रवाई-नियंत्रण प्रॉम्प्ट-स्कैनिंग से बेहतर है: टूल कॉल के परिणाम को रोकने से हमला-सफलता 1% से नीचे रहती है और 93.2% उपयोगिता बचती है।

AgentDojo की लक्षित प्रॉम्प्ट-इंजेक्शन हमला-सफलता शुरुआती GPT-4 मॉडलों पर 56.3% से गिरकर Claude 3.7 Sonnet पर सिर्फ़ 7.3% रह गई; सुरक्षा का तेज़ विकास।

Agent Security Bench 'Normalized Risk-adjusted Performance' (NRP) मापदंड पेश करता है, जो साबित करता है कि दुर्भावनापूर्ण प्रॉम्प्ट को मना करना वैध काम को मना करना नहीं होना चाहिए।