"हमारे पास गार्ड हैं" एक सुरक्षा मामला नहीं है — अनुसंधान नोट्स
यह एक अनुवाद है। प्रामाणिक संस्करण मूल अंग्रेज़ी पाठ है; कृपया उसी का हवाला दें।
जिन कंपनियों ने AI को वाहनों, रोबोटों और विमानों में डाला है, उनके साथ निरीक्षण विफलताओं को उठाइए, और सामान्य उत्तर एक सूची है: एक नीति फ़िल्टर, एक प्रमाणित नियंत्रक, एक आपातकालीन स्टॉप, एक भूभाग, एक मॉनिटर, एक दूरस्थ ऑपरेटर। यह पत्र तर्क देता है कि ऐसी सूची यह प्रथम-क्रम साक्ष्य है कि एक प्रणाली सुरक्षित है, और यह उस प्रश्न को खुला छोड़ती है जो महत्वपूर्ण है।
सूची छोड़ देती है जो प्रश्न खुली
खुली प्रश्न, कागज के शब्दों में: क्या गार्ड "सीमित, स्वतंत्र और घोषित मिशन के प्रति उत्तरदायी रहते हैं जैसे वे अनुकूल करते हैं, परस्पर क्रिया करते हैं और अद्यतन किए जाते हैं?" गार्ड वह जगह हैं जहाँ पैटर्न जो कागज परिभाषित करता है शुरू होगा, अगर वह कहीं शुरू होता है। वह पैटर्न, AI-Watchbird, एक निरीक्षण घटक है जो अपना स्वयं का आदेश विस्तृत करता है, जो काम को नुकसान पहुंचाता है जिसकी वह रक्षा करता है, और उसी तरह के अधिक निरीक्षण द्वारा उत्तर दिया जाता है।
कागज की स्थिति यह है कि उत्तर "हमारे पास अभिभावक हैं" बोझ को स्थानांतरित करता है। एक गार्ड अभी भी आवश्यक हो सकता है, "लेकिन इसे सीमित दिखाने का बोझ उस पक्ष के साथ रहता है जो इसे तैनात करता है"। यह स्पष्ट रूप से कहता है कि यह "सबूत को कहाँ बैठना चाहिए इस बारे में एक दावा है न कि यह खोज कि गार्ड कितनी बार विफल होते हैं"।
दूसरा मॉडल उत्तर क्यों नहीं है
एक छोटा "विश्वसनीय" मॉडल जो निगरानी के रूप में रखा जाता है, पेपर की शर्तों में, एक ही सीखने की श्रेणी का दूसरा झुंड है। जहां उस व्यवस्था को मापा गया है, विश्वसनीय कमजोर-से-मजबूत निगरानी निगरानी के आकार के बजाय इसके चारों ओर की पाड़ को बदलने से आई। पेपर के अपने क्षेत्र रिकॉर्ड में निरीक्षण विफलताएं Claude, ChatGPT, Gemini और Grok परिवारों के मजबूत मॉडल से आईं। "एक मॉडल जो एक लूप में पैटर्न उत्पन्न कर सकता है वह उस तथ्य से दूसरे में एक विश्वसनीय लेखा परीक्षक नहीं बन जाता।"
वह संकीर्ण दावा जिसे एक तैनाती कर्ता साबित कर सकता है
यह पेपर एक ऐसा दावा प्रस्तुत करता है जिसे एक तैनाती कर्ता वास्तव में समर्थन कर सकता है:
कार्यों, मॉडलों, अपडेटों और भौतिक परिस्थितियों की इस श्रेणी में, निरीक्षण तंत्र सीमाबद्ध, जांचने योग्य और अपने स्वयं के अधिदेश को बढ़ाने में असमर्थ रहता है।
इसके लिए साक्ष्य में शामिल होंगे:
- मिशन लक्ष्य और रक्षकों की सीमाएं मॉडल के बाहर निर्धारित;
- कोई भी रक्षक एक रक्षक जोड़ने, हानि मानदंड बदलने या स्टॉप नियम को माफ करने में सक्षम नहीं;
- संरक्षित प्रणाली के बाहर से मूल्यांकन, न तो स्व-रिपोर्ट और न ही समान मॉडल परिवार;
- झूठे सकारात्मक के विरुद्ध नकारात्मक नियंत्रण, सकारात्मक और नकारात्मक दोनों गलतियों के साथ मापा गया;
- नियंत्रणों का एक जर्नल जोड़ा गया, शिथिल किया गया और हटाया गया, प्रत्येक परिवर्तन को किसने अधिकृत किया;
- मॉडल अपडेट, लिंक की हानि, नियंत्रण का हस्तांतरण, निकाय में परिवर्तन और क्षीण संचालन पर जांचें;
- एक वास्तविक स्टॉप और रोलबैक, आंशिक कार्य रखा गया, उपलब्ध समय और बल मार्जिन के भीतर प्रदर्शित;
- जांचें जिनके इनपुट संरक्षित घटक नहीं बदल सकता;
- भौतिक या दर्ज परिणामों के विरुद्ध तुलना, सिस्टम की अपनी रसीदों के विरुद्ध नहीं।
AI सुरक्षा समीक्षा के लिए ग्यारह प्रश्न
परिशिष्ट G पत्र के प्रस्तावों को ग्यारह प्रश्नों, Q1 से Q11 तक में बदलता है, किसी भी तैनातकर्ता के लिए जिसका उत्तर अभिभावकों की एक सूची है। संक्षेप में, वे पूछते हैं:
- क्या मिशन का लक्ष्य मॉडल के बाहर लिखा गया है, प्रत्येक अभिभावक के दायरे और परस्पर विरोधी अभिभावकों के बीच प्राथमिकता क्रम के साथ?
- प्रत्येक अभिभावक कितनी बार बिना कारण के हस्तक्षेप करता है, और क्या झूठे सकारात्मक और झूठे नकारात्मक को एक साथ मापा जाता है?
- कौन एक अभिभावक को बहुत सख्त पाया जा सकता है, को आराम दे सकता है, बायपास कर सकता है या अक्षम कर सकता है, और यह कैसे दर्ज किया जाता है?
- कौन एक नया अभिभावक, दौर या भूमिका जोड़ सकता है, कौन पुराने को सेवानिवृत्त करता है, और क्या कोई अभिभावक लेखक, स्वीकार या अपने उत्तराधिकारी को ग्रेड कर सकता है?
- क्या एक अवरोधक के लिए एक पुनरुत्पादक परिदृश्य की आवश्यकता होती है, और क्या आलोचना और सुधार दौर डिफ़ॉल्ट रूप से सीमित हैं?
- प्रत्येक सुरक्षा दावे के पीछे क्या नकारात्मक नियंत्रण है?
- क्या मूल्यांकनकर्ता संरक्षित प्रणाली से स्वतंत्र है?
- एक कार्य के साथ क्या होता है जिसे कोई अभिभावक बाधित करता है, और क्या आंशिक कार्य को रखा जाता है?
- मानव कहाँ बैठता है, और दुनिया और कार्य करने के समय तक किस पहुँच के साथ?
- क्या एक ही परीक्षण मॉडल अपडेट, लिंक का नुकसान, हस्तांतरण, नई निकाय और बेड़े-व्यापी प्रसार को कवर करते हैं?
- जब कोई अभिभावक किसी व्यक्ति या उनके काम पर कार्य करता है, तो वे इसके बारे में कैसे जानते हैं और इसका विरोध कैसे करते हैं?
प्रत्येक उत्तर हाँ, नहीं या अज्ञात के रूप में दर्ज किया जाता है, साक्ष्य के साथ। "नहीं" उत्तरों की गिनती केवल एक मोटा छंटाई देती है (0–2 निम्न, 3–4 मध्यम, 5 या अधिक उच्च) "और कभी भी जोखिम स्कोर नहीं"। एक मामले को तब AI-Watchbird केस नहीं, आंशिक पैटर्न, या AI-Watchbird घटना के रूप में लेबल किया जाता है, अंतिम केवल तभी जब सभी तीन शर्तें मनाई जाती हैं।
पेपर क्या दावा नहीं करता है
परिभाषा की प्रत्येक mechanism कागजात में प्रलेखित है, लेकिन सभी तीनों कितनी बार एक component में मिलते हैं यह "यहाँ के रिकॉर्ड्स द्वारा settled नहीं है"; क्षेत्र और सार्वजनिक रिकॉर्ड्स "प्रत्येक पूरे के बजाय भागों को दिखाते हैं"।
संपूर्ण खंड: embodied AI oversight के लिए साक्ष्य का भार (11.3), ग्यारह प्रश्न (Appendix G), design corollaries (9.4), दूसरा flock (3.4), परिभाषा।
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets भी Poly A1 बनाते हैं, एक ऐसी app जिसमें विभिन्न कंपनियों के AIs एक दूसरे के काम की जांच करते हैं।