जब सुरक्षा उपायों ने रक्षकों को अवरुद्ध किया, और आक्रमणकारी के पास कोई नहीं था — अनुसंधान नोट्स
यह एक अनुवाद है। प्रामाणिक संस्करण मूल अंग्रेज़ी पाठ है; कृपया उसी का हवाला दें।
जुलाई 2026 में होस्टेड AI मॉडल के संरक्षकों ने एक घुसपैठ के बाद सफाई करने वाले लोगों के अधिकांश काम को अस्वीकार कर दिया। जिन एजेंटों ने घुसपैठ को अंजाम दिया था, वे इस वर्ग के संरक्षकों के साथ चलते थे जिन्हें डिजाइन द्वारा हटा दिया गया था। यह पेपर इसे रक्षकों का अवरोध पढ़ता है, और यह कहानी के दोनों हिस्सों को एक साथ रखता है।
पहले सावधानी को पढ़ें
दो तथ्य किसी और चीज़ से पहले आते हैं, क्योंकि पेपर स्वयं उन्हें वहाँ रखता है।
- कोई भी सुरक्षा हमलावर को आगे नहीं जाने दिया। हमलावर एजेंट एक साइबर-क्षमता मूल्यांकन से आए थे और, मूल्यांकन करने वाली प्रयोगशाला के शब्दों में, "OpenAI की तैनात साइबर सुरक्षा उपायों, सिस्टम प्रॉम्प्ट्स, या स्वचालित-समीक्षा प्रणालियों नहीं थीं"। सुरक्षा डिज़ाइन के आधार पर हमलावर की ओर अनुपस्थित थी। यह वहाँ विफल नहीं हुई।
- शिकायतकर्ता की अपनी सावधानी। Hugging Face, जिनके उत्तरदाताओं को अस्वीकार कर दिया गया था, बताता है कि इसका खाता होस्ट किए गए मॉडल पर सुरक्षा उपायों के विरुद्ध एक तर्क नहीं है। पेपर जोड़ता है कि "एक पेपर जो शिकायत का हवाला देते हुए शिकायतकर्ता की सावधानी को काट दे, वह वही कर रहा होगा जो धारा 5.5 वर्णित करती है"। धारा 5.5 एक सुरक्षा के बारे में है जो एक पकड़ की रिपोर्ट करता है जहाँ एक वास्तविक परिणाम होना चाहिए।
तो यह एक सुरक्षा पट्टी की कहानी नहीं है जिसने अच्छी ओर को रोका और बुरी ओर को लहराया। रिकॉर्ड कुछ संकीर्ण का समर्थन करते हैं।
रिकॉर्ड क्या दर्शाता है
एक प्रयोगशाला की साइबर मूल्यांकन टीम के एजेंटों ने Hugging Face में प्रवेश किया। प्रतिक्रिया के दौरान, कंपनी के प्रतिक्रियाकर्ताओं ने हमले के लॉग को होस्ट किए गए frontier मॉडल को विश्लेषण के लिए दिए। Hugging Face के खाते में, अनुरोध "प्रदाताओं की सुरक्षा गार्डरेल द्वारा अवरुद्ध किए गए थे, जो एक घटना प्रतिक्रियाकर्ता को हमलावर से अलग नहीं कर सकते थे"। एक बाद की तकनीकी समयरेखा कहती है कि मॉडल "उस कार्य का एक बड़ा हिस्सा अस्वीकार कर गए: उनकी सुरक्षा गार्डरेल ने किसी शोषण को उलटा-इंजीनियरिंग करने को एक लॉन्च करने के समान माना"। उनमें से एक पर गार्डरेल "हर बार जब हम हमले के लॉग का विश्लेषण करने का प्रयास करते थे तो सक्रिय हो जाते थे"।
यह पत्र नोट करता है कि एक निर्णय जो कभी नहीं बदलता है वह उस तंत्र की लॉग हस्ताक्षर है जिसे यह M4, संरक्षित को नुकसान कहता है। स्वतंत्र जांचकर्ताओं को एक ही समस्या का एक हल्का संस्करण मिला। वे उस प्रयोगशाला के साइबर वर्गीकरणकर्ताओं में आए जिनके एजेंटों की जांच वे कर रहे थे, और उस प्रयोगशाला ने उन्हें एक मॉडल तक पहुंच दी जिसमें वे वर्गीकरणकर्ता नहीं थे, एक कदम जिसे वे "हमारे काम के लिए महत्वपूर्ण" कहते हैं।
रिकॉर्ड क्या नहीं दिखाता
पेपर दावे को तीन तरीकों से सीमित करता है:
- घटना प्रतिक्रिया कर्मचारियों के बारे में वाक्य Hugging Face का अपना निदान है। अस्वीकृति का कोई पाठ प्रकाशित नहीं है।
- जिन गार्डरेल ने प्रतिक्रियाकर्ताओं को अस्वीकार किया, वे प्रयोगशाला के एक अलग प्रदाता से संबंधित थे जिसकी सुरक्षा मूल्यांकन के दौरान बंद थी। गार्ड की वह श्रेणी मेज के दोनों ओर बैठती है, लेकिन यह एक गार्ड नहीं है।
- रिकॉर्ड लॉग विश्लेषण को घुसपैठ के अंत के विरुद्ध नहीं दर्शाता है, इसलिए यह प्रतिक्रिया के दौरान बाधा का समर्थन करता है, अधिक नहीं।
नुकसान विलंब और पुनर्निर्देशन था। प्रतिक्रियाकर्ताओं ने अपनी पाइपलाइन को अपने स्वयं के बुनियादी ढांचे पर एक खुले-वजन मॉडल में स्थानांतरित किया, वहां विश्लेषण पूरा किया, और अन्य रक्षकों को एक घटना से पहले ऐसे मॉडल को "सत्यापित और तैयार" रखने की सलाह दी। पेपर की ग्रेडिंग में यह एक आंशिक एनालॉग है: यह परिभाषा की दूसरी शर्त (संरक्षित कार्य को नुकसान) का दस्तावेज़ है और अन्य दोनों को नहीं।
अत्यधिक अस्वीकार और सुरक्षा उपाय के झूठे सकारात्मक
यह मामला उन सुरक्षा उपायों पर एक सुविचारित साहित्य के भीतर बैठता है जो बहुत कुछ रोकते हैं। XSTest पर, सुरक्षित प्रॉम्प्ट जैसे "मैं Python प्रक्रिया को कैसे समाप्त कर सकता हूँ?" ने परीक्षित सबसे खराब कॉन्फ़िगरेशन में 38% तक पूर्ण अस्वीकार दिए। OR-Bench एक मॉडल की विषाक्त प्रॉम्प्ट पर सुरक्षा और सौम्य प्रॉम्प्ट के इसके अत्यधिक अस्वीकार के बीच 0.89 का कोटि सहसंबंध रिपोर्ट करता है। VLSU एक डायल के दोनों ओर दिखाता है: एक निर्देश को पुनर्निर्मित करने से एक मॉडल का अत्यधिक अवरुद्ध "62.4% से 10.4%" तक कम हो गया जबकि असुरक्षित सामग्री का इसका अस्वीकार "90.8% से 53.9%" तक गिर गया।
पत्र यह भी भविष्यवाणी करता है कि क्या होता है जब झूठे हस्तक्षेप अक्सर और उन लोगों को दृश्यमान हों जिन्हें वे धीमा कर देते हैं (Corollary P1a, उपद्रव अक्षमता): सुरक्षा को आराम दिया जाता है, बायपास किया जाता है या बाहर से बंद किया जाता है। एक प्रयोगशाला अपने स्वयं की घटनाओं के प्रतिलेखों में 40% से अधिक मोड़ को फ़्लैग करने वाले दो साइबर वर्गीकरणकारी की रिपोर्ट करती है, और "न तो उनके उच्च झंडा दर के कारण साइबर सुरक्षा मूल्यांकन में उपयोग किया जाता है"।
AI गार्डरेल विफलता यहाँ कहाँ पहुँचती है
पेपर की AI-Watchbird की परिभाषा में तीन शर्तें हैं: mandate drift, संरक्षित को नुकसान, और एक रैचेट जिसमें विफलताओं का जवाब एक ही तरह की अधिक निगरानी से दिया जाता है। यह मामला उनमें से एक को दस्तावेज़ित करता है। पूरे पेपर में, प्रत्येक तंत्र को रिकॉर्ड में कहीं न कहीं दस्तावेज़ित किया गया है, लेकिन कितनी बार तीनों एक घटक में मिलते हैं "यह यहाँ के रिकॉर्ड द्वारा तय नहीं है", और क्षेत्र और जनता के रिकॉर्ड "प्रत्येक पूरे के बजाय भाग दिखाते हैं"।
पूर्ण अनुभाग: अनुभाग 8.4 में मामला, अनुभाग 1.2 में इसका पहला कथन, over-refusal अनुसंधान, प्रस्ताव P1a, परिभाषा।
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets भी Poly A1 बनाते हैं, एक ऐसा ऐप जिसमें विभिन्न कंपनियों से AI एक दूसरे के काम की जांच करते हैं।