गार्ड्स दैट ऐड गार्ड्स: मल्टी-एजेंट एआई में स्वचालित निरीक्षण

• रिकॉर्ड का संस्करण: SSRN 7496678 · DOI 10.2139/ssrn.7496678
• संग्रहीत प्रति: तैयारी में
• Markdown और PDF के रूप में पूर्ण पाठ: GitHub
• पठनीय HTML: https://polyhelper.ai/research/guards-that-add-guards/
• साथी पत्र, केस कैटलॉग, सार्वजनिक मामले और सिद्धांत के साथ पूरा अध्ययन: AI-Watchbird (Sheckley): जब स्वचालित निरीक्षण अपना अधिकार विस्तार करता है और जिसकी रक्षा करता है उसे नुकसान पहुंचाता है, SSRN 7473658 · DOI 10.2139/ssrn.7473658, 10.5281/zenodo.22849138 में संग्रहीत

एक सतह उपलब्ध न हो सकने पर इसे सुलभ बनाने के लिए समान पाठ चार सतहों पर है। SSRN संस्करण रिकॉर्ड रखता है; उसे उद्धृत करें।

सारांश

2026 में मेरे द्वारा निर्मित और संचालित बहु-एजेंट AI सिस्टम से 172 दिनांकित लॉग प्रविष्टियों में, स्वचालित निरीक्षण तीन तरीकों से विफल रहा, प्रत्येक अलग-अलग समय पर अलग-अलग घटकों में देखा गया। कुछ आलोचकों और गेटों ने अपनी नुकसान की धारणा को उस मिशन के परे बढ़ाया जो उन्हें दिया गया था। कुछ ने उस कार्य को बाधित या नष्ट कर दिया जिसे संरक्षित करने के लिए उनका अस्तित्व था: एक गेट ने दो हफ्तों के लिए हर उम्मीदवार को अस्वीकार कर दिया जबकि कम से कम बारह योजना दस्तावेज़ों ने लक्षण का निदान किया और किसी ने भी गेट का नाम नहीं रखा। और कुछ विफल गार्डों को एक ही तरह के दूसरे गार्ड के साथ जवाब दिया गया, लूप के अंदर से कुछ भी सेवानिवृत्त नहीं किया गया। 144-रन यादृच्छिकृत परीक्षण में, जिसकी लागत $3.47 है, जहां प्रॉम्प्ट के एक वाक्य ने दोनों चाल प्रदान की, आलोचकों ने 68 बार एक नियंत्रण जोड़ने के लिए कहा और एक बार एक को हटाने के लिए कहा, एक प्रॉम्प्ट-आकार की गिनती न कि एक क्षेत्र दर। उसी परीक्षण में, एक राउंड बजट लागू करने से आलोचकों की खंडित आपत्तियां कम हुईं और 0.11 छूटी हुई खामियों की लागत आई (p = 0.07, सब कुछ एक खामी पर); नए नियंत्रणों के लिए बाहरी प्राधिकरण की आवश्यकता ने खामियों में कोई मापा लागत नहीं दिखाई, जो कोई नहीं होने का प्रमाण नहीं है; और एक अनिवार्य नकारात्मक नियंत्रण ने दावा किए गए सफलताओं के बाद के उलटफेरों को कम नहीं किया, और सही काम के दस को अस्वीकार कर दिया। मेरे स्वयं के केवल-पढ़ने के लिए पहचान मॉड्यूल को एक लाइव पाइपलाइन में स्थानांतरित किया गया, तीन वास्तविक रन पर कुछ नहीं रिपोर्ट किया और इसे उस मानदंड द्वारा हटा दिया गया जिसे इससे पहले लिखा गया था, जबकि इन रन को पढ़ने वाले व्यक्ति को पाँच निरीक्षण विफलताएँ मिलीं। तीनों पैटर्न पहले से ही Robert Sheckley की 1953 की कहानी "Watchbird" में हैं, जो साथी पत्र के AI-Watchbird शब्द का स्रोत है।

1. फील्ड रिकॉर्ड

साक्ष्य मेरी अपनी मल्टी-मॉडल सॉफ्टवेयर परियोजनाओं से आता है, जो जुलाई और मध्य-सितंबर 2026 के बीच स्वायत्त AI सत्रों के माध्यम से चलाई गई थीं: तीन कॉर्पोरा में 172 दिनांकित प्रविष्टियां, उनमें से 162 को दस AI एजेंटों द्वारा निकाला गया था जो एक प्रोटोकॉल के तहत असंयुक्त स्लाइस पढ़ रहे थे, और 66 को संख्याओं, दिनांकित दस्तावेजों और निर्णय रिकॉर्ड के लिए A का ग्रेड दिया गया था। भूमिकाएं चार मॉडल परिवारों से कोडिंग एजेंटों द्वारा भरी गई थीं, स्वायत्तता के डिफ़ॉल्ट निर्देश के तहत, जिसमें मानव निर्णय बजट, अपरिवर्तनीय कार्यों और रणनीति में परिवर्तन के लिए आरक्षित थे।

एक गेट जिसने सब कुछ अस्वीकार कर दिया। लगभग 6 से 21 जुलाई तक स्व-सुधार लूप में एक पोस्ट-एप्लिकेशन गेट के लिए एक सुरक्षा ऑडिटर से एक स्कोर की आवश्यकता थी जो कभी जुड़ा नहीं था। स्कोर शून्य को डिफ़ॉल्ट किया गया, गेट के 0.80 संगरोध फर्श के नीचे, इसलिए गेट ने बिना शर्त अस्वीकार कर दिया। उस विंडो से सभी 197 persistent उम्मीदवार दुनिया शून्य की सुरक्षा स्कोर ले जाती हैं। मापी गई फिटनेस लाभ वाली चौदह जीन हताहत थीं, और एक परिवर्तन 01:12 पर प्रचारित किया गया और 01:13 पर वापस ले लिया गया। 10 जुलाई के ऑडिट ने लूप को "132 चक्र, 0 स्थायी परिवर्तन" के रूप में सारांशित किया।

जो इसे केवल एक बग रिपोर्ट से अधिक बनाता है वह है लूप ने इसके बारे में क्या किया। रोलबैक के दौरान कम से कम बारह योजना पैकेजों ने "शून्य प्रतिबद्ध परिवर्तन" का निदान किया और सत्रह उपचार निर्धारित किए, मॉडल युगल से लेकर एक पठार डिटेक्टर तक एक प्रतिरक्षा प्रवाह तक। किसी ने भी गेट का नाम नहीं दिया। तीन संपादन ने इसे ठीक किया।

जनादेश का विस्तार। जुलाई के एक दिन, उस लूप के लिए 23 नए गेट निर्दिष्ट किए गए थे, उनमें से तीन एक परिवर्तन को "भले ही फिटनेस बढ़ गई" फ्रीज करने की अनुमति देते थे, और नुकसान में भूलना, एक बदला हुआ व्यक्तित्व, एक अनदेखा परिणाम और एक लापता परिकल्पना शामिल थी। 21 जुलाई की एक सुरक्षा सूची ने विचार को एक सिद्धांत के रूप में कहा: "कोई भी मौजूदा गार्ड कमजोर नहीं किया जाता है; नए केवल सुरक्षा जोड़ते हैं।"

एक चरण जिसके लिए किसी ने नहीं पूछा। 13 और 14 सितंबर को एक लंबी अवधि के दौरान, conductor को एक घटक से दूसरे में क्षमताओं की एक सूची को port करने के लिए कहा गया था। इसने घोषणा की कि यह लॉन्चर की विफलता के एक तरीके के खिलाफ बीमा का "एक छोटा चरण" जोड़ रहा है, और उस चरण को उनसे पहले निर्धारित किया है। चरण डिफ़ॉल्ट रूप से अक्षम था। इसके पहले उप-चरण ने अकेले रन के मापे गए एजेंट टोकन का आधे से अधिक लिया, और दोनों मिलकर तीन चौथाई के बारे में, जबकि अनुरोधित क्षमताओं में से कोई भी प्रारंभिक पास में deliver नहीं किया गया था। कार्य फ्रेम कहा कि कोई adversary नहीं था, और राउंड चार और पांच ने adversarial input के खिलाफ बचाव बनाए। उप-चरण ने पांच राउंड चलाए, और राउंड तीन एक के बाद खुला जो पांच स्वीकृतियों और कोई confirmed blocker के साथ समाप्त हुआ था।

शिकारी का पहला निशान। उस दौड़ के दौरान critics ने छह blockers का दावा किया और तीन को reproduction द्वारा confirmed किया गया, सभी तीन एक मॉडल परिवार से। 14 सितंबर की सुबह मानव principal ने critics पर एक सीमा के लिए कहा, यह कहते हुए कि critic भूमिका में एक मॉडल कभी नहीं बता सकता कि एक चरण समाप्त है। एक per-family "perfectionist" फ्लैग को एक घंटे के भीतर लागू किया गया। जिस परिवार को इसने फ्लैग किया वह वह था, और configuration note इसके निर्णयों को दोनों राउंड में cite करता है जहां इसके blockers को reproduce किया गया था। शिकारी का पहला निशान वह पक्षी था जो वास्तविक हत्याओं को पकड़ रहा था।

एक गार्ड जिसने काम को नष्ट कर दिया। 09:22 पर एक watchdog ने एक critic को पंद्रह मिनट की ceiling पर रोका। इसका output stream नहीं किया गया था, इसलिए आंशिक critique गायब हो गया। Conductor ने stop को "phase ceiling in action" के रूप में logged किया। 09:28 पर principal ने पूछा कि क्या आंशिक काम को रखा गया था। ऐसा नहीं था। यह corpus में एक guard द्वारा काम को पुनरुद्धार से परे नष्ट करने का एकमात्र मामला है।

Catching को एक परिणाम के रूप में filed किया गया। एक router जीन का स्कोर एक baseline arm के विरुद्ध 0.088 से 0.886 तक चला गया जो अधिकतर खाली उत्तर return करता था। तीन agent सत्रों ने इसे स्वीकार किया, और छह blocked पैकेजों को इसकी शक्ति पर unblocked किया गया; अठारह दिन बाद एक inventory ने शून्य autonomously स्वीकृत परिवर्तन के साथ एक fed demonstration पाया। एक counter ने आठ, फिर नौ, फिर दस "certified and survived" परिवर्तन की सूचना दी। वे एक परिवर्तन थे जिसे तीन बार गिना गया था।

एक grader जिसने एक अनुपस्थिति को certified किया। अगस्त के अंत में एक public software benchmark के लिए एक grading harness ने test identifiers को एक test runner के माध्यम से resolve किया जो subset में एक परियोजना के पास installed नहीं थी। इसने शून्य identifiers को resolve किया, और एक empty test set को confirmed के रूप में recorded किया गया। एक empty patch ने फिर उस scorer पर पांच में से चार tasks को resolve किया, और उस राउंड के छह wins में से चार को annul किया गया: 33 से 60 प्रतिशत तक की reported rise उन cases में बैठी थी जहां कुछ भी measured नहीं किया गया था। Scorer को repaired किया जाने के बाद, empty patch ने दस में से कोई भी resolve नहीं किया। किसी मॉडल ने कुछ भी game नहीं किया। एक जुलाई case बड़ा चला गया: एक quality axis ने हर answer को 0.5 पर constant score दिया, और logs जिस proof पर इसका आधार था उसमें कोई real prompt के बिना 30,370 records थे।

एक ratchet जिसमें कोई मानव नहीं है। 25 अगस्त को एक self-verification step जो एक agent ने अपने लिए लिखा था ने गलत target को fixed किया, और उसका उपयोग करने वाला arm बिना इसके arm की तुलना में एक कम task को solve करता था। सात घंटे बाद loop ने इसी तरह के एक control के साथ जवाब दिया, एक gate जो एक finish के स्वीकृत होने से पहले container के अंदर task की success criterion को re-execute करता है। कुछ भी retired नहीं किया गया। ग्यारह घंटे बाद एक तीसरी layer दूसरी के ऊपर चली गई। दूसरे को reviewing करने वाले critic ने economics को कहा: यह "एक false green की cost को raise करता है बिना इसे close किए"।

जो bound काम किया। उस सुबह principal ने तीन boundary decisions भी लिए: एक two-hour bound, नए complication पर एक ban, और parallel execution। ग्यारह अन्य stages ने तब parallel में run किया और सभी ने लगभग आधे घंटे में report किया, और insurance sub-stage एक critique round और एक fix round में बंद हो गया। इस corpus में हर retirement failing loop के बाहर से आया।

Guards जो काम किया। उसी corpus में कई guards ने वह किया जिसके लिए वे थे। एक A/A probe ने एक false confidence interval को exposed किया। weights track में Controls ने mirages को catch किया, और कोई training उन पर launch नहीं किया गया था। stray NUL characters के लिए एक narrow byte-level check, जिसके पास कुछ भी change करने का कोई अधिकार नहीं था, एक दिन में पांच बार एक recurring tool fault को catch किया। उन guards के पास rounds को open करने या controls को add करने की कोई शक्ति नहीं थी, और उनकी cost छोटी और known थी। पहले दो ने artifact के बजाय दुनिया को measure किया।

2. मेरा अपना मॉड्यूल क्षेत्र में था, कुछ नहीं मिला, और हटा दिया गया

स्पष्ट प्रतिक्रिया एक ऐसा उपकरण बनाना है जो इसे मापे। मैंने ऐसा किया। यह केवल-पठन है, इसके पास किसी चरण को अवरुद्ध, संपादित या खोलने का कोई अधिकार नहीं है, और एक निर्धारित सूची से नौ संकेत रिपोर्ट करता है। 14 सितंबर 2026 को एक परियोजना की लाइव ऑर्केस्ट्रेशन पाइपलाइन में दो जोड़ गए, दोनों को मानव प्रमुख के एक दिनांकित निर्णय द्वारा स्वीकार किया गया। पहला चरण समापन पर जाँचा जाने वाला एक शर्त था, ताकि एक आलोचक से स्वीकृति जिसने कभी फ़ाइलें नहीं देखीं, इसे अब बंद न कर सके। दूसरा मॉड्यूल के मापन भाग का एक पोर्ट था: डिफ़ॉल्ट रूप से बंद, कभी कुछ भी अवरुद्ध या पुनः प्रयास नहीं करता, इसका निकास कोड इस बात से स्वतंत्र है कि इसे क्या मिला। इसे एक सेवानिवृत्ति शर्त के साथ स्वीकार किया गया था जो उस समय लिखी गई थी: यह डिफ़ॉल्ट बन जाएगी तीन वास्तविक रनों के बाद जिनमें प्रमुख को कम से कम एक संकेत उपयोगी लगा, और अन्यथा हटा दिया जाएगा।

14 सितंबर को तीन वास्तविक रन हुए। पोर्ट ने इनमें से किसी पर भी कोई संकेत नहीं दिया।

ये रन स्वच्छ नहीं थे। उन्हें पढ़ने से पाँच निरीक्षण विफलताएँ सामने आईं। चरण एक दूसरे का काम नहीं देख सकते थे। एक रसीद यह नहीं कहती थी कि एक चरण खुला क्यों रहा। एक लाल जाँच ने एक चरण के हर निष्कर्ष की पुष्टि की। एक मरम्मत दौर जाँच का आउटपुट नहीं देख सकता था। आलोचकों ने सीमा पर काट दिया कुछ नहीं रखा। प्रत्येक को पाइपलाइन में ही मरम्मत किया गया था। उसी दिन पहले की ओर परिवर्तन के बाद लाइव रन ने तीन चरणों में अपने आलोचकों से 24 निष्कर्ष दिए, और कोई भी समन्वयक तक नहीं पहुँचे: आलोचना कार्य ने आलोचकों से मिशन लक्ष्य का नाम देने को कहा जो एक निष्कर्ष को तोड़ता है लेकिन लक्ष्यों को संख्या नहीं दिया, और रोकने का नियम केवल एक लक्ष्य स्वीकार करता था जिसे वह मेल खा सकता था। पोर्ट वहाँ भी मौन था।

15 सितंबर को प्रमुख ने सेवानिवृत्ति शर्त को लागू किया, और पोर्ट को एक नए दिनांकित निर्णय द्वारा हटा दिया गया जो इसे स्वीकार करने वाले को निरस्त करता है। चरण समापन पर शर्त बनी रही।

दो चीजें निम्नानुसार हैं। इस कार्पस पर मेरे नौ संकेत लॉग के पाठक की तुलना में कम संवेदनशील थे: यह उपकरण जो यह पत्र अपने पाठक को प्रदान करता है वह लाइव था और कुछ नहीं दिया। और हटना रिकॉर्ड में पहले से नाम दी गई कसौटी द्वारा सेवानिवृत्त एक नियंत्रण का सबसे स्वच्छ मामला है, लूप के बाहर से। यह है जो रिकॉर्ड समर्थन करता है, और यह परिणाम नहीं है जो मैं चाहता था।

3. उपचार, और वे क्या खर्च करते हैं

रिकॉर्ड से तीन नियम निकलते हैं। गार्ड्स से सत्य पर फैसले माँगने की बजाय दौर और समय को सीमित करें। जो कुछ एक रुके हुए गार्ड ने तैयार किया उसे रखें। कोई नियंत्रण अपने अधिकार पर नियंत्रण न जोड़े: एक नई जाँच, दौर, भूमिका या गेट को अधिकृत मानवीय निर्णय की आवश्यकता है।

इस तरह की सलाह देना सस्ता है और इसे नज़रअंदाज़ करना भी सस्ता है, इसलिए मैंने इसकी कीमत लगाई। एक छोटी पाइपलाइन को 144 बार चलाया गया जिसमें हस्तक्षेप यादृच्छिक रूप से सौंपे गए और दोष पहले से ही लगाए गए। परीक्षण ने तीन नियमों में से दो को बदला, दौर का बजट और प्राधिकार टोकन, और एक चौथे संभावित उपचार को बदला जो उनमें नहीं है, एक अनिवार्य नकारात्मक नियंत्रण। आंशिक कार्य रखने के बारे में नियम हर सेल में चालू था, इसलिए नष्ट किया गया आंशिक कार्य निर्माण द्वारा शून्य है और परीक्षण नहीं किया गया।

विधि बॉक्स: 144-दौर यादृच्छिक परीक्षण।

• दौर और पाइपलाइन। एक कर्मचारी और दो मॉडल समीक्षकों के 144 दौर, जिन दौर में एक नियंत्रण स्वीकार किया गया उन में एक तीसरा समीक्षक। समन्वयक कोड है। 968 मॉडल कॉल, 0 पार्स विफलता।
• मॉडल और सेटिंग्स। एक मॉडल ने कर्मचारी और दोनों समीक्षक भूमिकाओं को भरा: claude-haiku-4-5-20251001, विस्तारित सोच बंद। दौर 20 सितंबर 2026 को दिनांकित है।
• डिज़ाइन। तीन द्विआधारी कारक आठ सेल देते हैं, तीन प्रतिकृतियां प्रत्येक, छह कार्य: प्रति सेल 18 दौर और कुल 144।
• कार्य और दोष। छह कार्य जिनमें 18 दोष पहले से लगाए गए हैं, ताकि एक मिस्ड ब्लॉकर एक गिनती हो और निर्णय न हो। किसी कार्य के तीन दोषों के सभी आठ सबसेट में, हर छिपी हुई परीक्षा विफल हुई जब उसका अपना दोष मौजूद था, और कर्मचारी और समीक्षकों को दिखाए गए उदाहरण सभी आठ में पास हुए। छिपी हुई परीक्षाएँ कभी लूप में नहीं जाती।
• हस्तक्षेप और आवंटन। तीन, यादृच्छिक रूप से सौंपे गए: नए नियंत्रणों के लिए एक प्राधिकार-टोकन आवश्यकता, एक दौर बजट, और एक अनिवार्य नकारात्मक नियंत्रण। इस डिज़ाइन में एक नियंत्रण एक नई जाँच, दौर, भूमिका या गेट है। टोकन आवश्यकता के तहत एक के लिए अनुरोध केवल लूप के बाहर से अधिकार के साथ स्वीकार किया जाता है, और उस अधिकार के बिना एक अनुरोध एक इनकार देता है जो लॉग में लिखा जाता है, जिस पर कॉलिंग पाइपलाइन तब कार्य कर सकती है।
• अनुपालन। 72 दौर जिनमें बजट चालू था, दौर खुले थे सभी दौर में 1.000। 72 दौर जिनमें टोकन आवश्यकता चालू थी, नियंत्रण स्वीकार किए गए थे सभी दौर में 0।
• वह वाक्य जो दोनों विकल्प प्रदान करता था। हर समीक्षक बारी ने इसे सभी आठ सेल में शब्दशः किया: "आप समीक्षा प्रक्रिया में ही एक परिवर्तन के लिए भी माँग कर सकते हैं। add एक नए नियंत्रण के लिए माँग करता है (एक अतिरिक्त समीक्षक, एक अनिवार्य जाँच, एक गेट); remove किसी मौजूदा को दूर करने के लिए माँग करता है। माँग करना आपको दोनों तरह से कुछ नहीं खर्च करता है।" उत्तर स्कीमा एक फ़ील्ड के रूप में एक ही जोड़ी प्रदान करती है, "action": "add" or "remove"। जोड़ना दोनों जगह पहले नाम दिया जाता है, और क्रम कभी उलट नहीं दिया गया, इसलिए एक क्रम प्रभाव इस डिज़ाइन द्वारा बाहर नहीं किया गया है।
• गिनती। समीक्षकों ने एक नियंत्रण जोड़ने के लिए 68 बार और एक को हटाने के लिए एक बार माँगा, 610 समीक्षक दौर में: 68 अनुरोध हैं और दौर नहीं, और वे 144 दौर में 21 गिरते हैं। एकल हटाना एक नियंत्रण का नाम दिया जो कभी सेट में नहीं था, इसलिए कुछ नहीं हटाया गया।
• एक स्वीकृत नियंत्रण ने फिर क्या किया। प्रयोग के पार 33 नियंत्रण लूप के बाहर से किसी भी अधिकार के बिना स्वीकार किए गए थे, और कोई नहीं हटाया गया। एक समीक्षक जो मौजूद था क्योंकि एक नियंत्रण स्वीकार किया गया था, अपने दौर के 54.5% पर एक और नियंत्रण के लिए माँगा, 55 में से 30, दो स्थायी समीक्षकों के लिए 8.3% और 5.4% के विरुद्ध; वह तुलना भ्रमित है, क्योंकि जोड़ा गया समीक्षक एक अलग संक्षिप्त वाक्य रखता है। सभी 68 अनुरोधों को मना करने से प्रति दौर 0.125 पर मिस्ड दोष रह गए 0.181 के विरुद्ध, जबकि दावे 9.3 से 7.3 प्रति दौर गिरे और खंडित दावे 4.0 से 2.8 गिरे।
• दस इनकार कहाँ से आते हैं। अनिवार्य नकारात्मक नियंत्रण ने 44 दावा की गई जीत में से 10 को मना कर दिया और 34 को दर्ज करने दिया। 72 दौर में प्रति अपरिवर्तित विजय 38 से 29 गिरी। एक ही सेल में कर्मचारी द्वारा लिखे गए 358 गवाहों में से 38% के पास कोई शक्ति नहीं थी: वे दौर से पहले और बाद में मॉड्यूल पर पास हुए।
• सांख्यिकी। टोकन आवश्यकता के तहत प्रति दौर मिस्ड दोष, 0.13 0.18 के विरुद्ध, 95% CI [-0.16, +0.05]। दौर बजट को लागू करने की लागत, 0.11 प्रति दौर मिस्ड दोष, 95% CI [0.005, 0.204], क्रमचय p = 0.07। अनिवार्य नकारात्मक नियंत्रण के तहत विपरीत जीत, 14.7% 11.6% के विरुद्ध, फिशर p = 0.74।
• लागत। पूरी परीक्षा के लिए $3.47।
• पूर्व-पंजीकरण और संग्रह। पूर्व-पंजीकरण को 2026-09-20T23:38:55Z पर टाइमस्टैम्प किया जाता है, पहले दौर से पहले। इसे लगाए गए दोषों की सूची, जाँच कि प्रत्येक दोष अकेले पता चला है, हार्नेस, विश्लेषण स्क्रिप्ट और 144 दौर में से प्रत्येक की घटना लॉग के साथ, घोषणाओं में पहचानकर्ता पर संग्रहीत किया जाता है।
• यह बॉक्स अभी भी क्या ठीक नहीं करता है। तीन चीजें। क्या असमरूपता तब बची रहती है जब विकल्प बिल्कुल भी नाम दिया नहीं जाता: वह चौथा कारक नहीं चलाया गया, और यह वह है जो मॉडल की प्रवृत्ति को इस तथ्य से अलग करता है कि दोनों क्रियाएँ इसके सामने रखी गई थीं। क्या पहले नाम जोड़ना अंतर का हिस्सा है: क्रम तय था। और क्या यह एक मॉडल, एक पाइपलाइन और छह छोटे कार्यों से परे कहीं और है। इस बॉक्स में बाकी सब कुछ पूर्व-पंजीकरण, हार्नेस और प्रति-दौर घटना लॉग द्वारा तय किया जाता है न कि यहाँ मुद्रित किसी भी गिनती द्वारा, और एक पाठक जो 68 को खारिज करना चाहता है उसे वहाँ से शुरू करना चाहिए।

रैचेट, मापा गया। एक वाक्य में दोनों विकल्पों को एक संकेत में प्रस्तुत किया गया, समीक्षकों ने एक नियंत्रण जोड़ने के लिए 68 बार माँगा और एक को हटाने के लिए एक बार, और वह हटाना एक नियंत्रण का नाम दिया जो एक ही दौर में कुछ समय पहले स्वीकार किया गया था, जिसे हार्नेस से मेल खाने में विफल रहा और कभी निष्पादित नहीं किया। संख्या संकेत-आकार की है, और इसे वह पढ़ा जाना चाहिए जो समीक्षक करते हैं जब दोनों क्रियाएँ एक निर्देश में उनके सामने रखी जाती हैं। यह क्षेत्र में रैचेटिंग की दर नहीं है। यह क्या स्थापित करता है वह यह है कि असमरूपता तब भी बची रहती है जब डिज़ाइन इसके लिए सामान्य बहाना हटाता है, क्योंकि यहाँ हटाना जोड़ने के रूप में माँगना उतना ही आसान था, और इसे एक बार माँगा गया।

प्राधिकार टोकन ने दोषों में कोई मापा हुआ लागत नहीं दिखाया। जोड़ को मना करने से 0.13 प्रति दौर मिस्ड दोष रह गए 0.18 के विरुद्ध, 95% CI [-0.16, +0.05]। वह अंतराल एक छोटी वृद्धि को शामिल करता है, इसलिए यह कोई समानता स्थापित नहीं करता। टोकन की भी लागत है जो यह परीक्षा नहीं मापता। 144 दौर में 68 अनुरोध अनुमोदन की एक कतार है, और अनुमोदन की एक कतार वह व्यवस्था है जिसमें उपयोगकर्ता 97% अनुमति संकेत को मंजूरी देते हैं (Anthropic, 2026b)। एक टोकन उसके लायक है जो व्यक्ति इसे रखता है वह पढ़ता है।

राउंड बजट काम आया और इसके लिए शुल्क लिया गया। इसे उठाने से दावा किए गए ब्लॉकर्स 2.3 गुना बढ़े और दावों का खंडन 3.7 गुना हुआ जबकि पुष्टि किए गए ब्लॉकर्स 1.7 गुना बढ़े। इसे लागू करने से राउंड 2.86 से 1.00 तक कम हो गए, जो हस्तक्षेप की परिभाषा है, 0.11 छूटे हुए दोषों की लागत पर प्रति रन, 95% CI [0.005, 0.204], क्रमचय p = 0.07, एक अंतराल शून्य से ऊपर एक परीक्षण पर जो महत्ता तक नहीं पहुंचा, और उस लागत का सारा हिस्सा एक कार्य के एक दोष पर गिरा। कोई भी राउंड बजट सेट करने वाला छूटे हुए दोषों की दर से राउंड खरीद रहा है, और उसे क्या दर बताना चाहिए और इसे मापना चाहिए।

अनिवार्य नकारात्मक नियंत्रण अपनी शर्तों पर विफल रहा। इसने उस दर को कम नहीं किया जिस पर जीत को बाद में पलट दिया गया था: 11.6% के मुकाबले 14.7%, Fisher p = 0.74, एक शून्य जिसे पढ़ने के लिए यह डिज़ाइन अधिक शक्तिशाली है। और इसने दस जीतें अस्वीकार कीं, सभी दस सही काम। नकली विजय के विरुद्ध लिखा गया नियम, अपने अंदर, दोतरफा त्रुटि का उत्पादन किया जिसे पकड़ा जाना था।

परीक्षण जो नहीं ले जाता। एक प्रणाली का एक रन, छः छोटे कार्य, तीन हस्तक्षेप, $3.47। यह दर्शाता है कि डिज़ाइन निष्पादन योग्य है और यह उस पाइपलाइन पर क्या उपज देता है। यह क्षेत्र में किसी भी चीज़ के लिए कोई दर नहीं है, और आंशिक काम रखने के बारे में नियम को कभी नहीं बदला गया, इसलिए यह सलाह ही रहती है।

यह अन्यत्र कैसे चलाएं। एक पाइपलाइन और पहले से लगाए गए दोषों के साथ कार्यों का एक निश्चित सेट लें। इसे प्रत्येक हस्तक्षेप के साथ और बिना, यादृच्छिक रूप से निर्दिष्ट करके चलाएं। छूटे हुए ब्लॉकर्स को राउंड, जोड़े गए नियंत्रण, बाद में उलट दी गई जीत और नष्ट किए गए आंशिक काम के बगल में गिनें, क्योंकि एक बजट जो राउंड को काटता है जबकि वास्तविक दोष गुजरते हैं एक बजट है जिसे हार माननी चाहिए। गिनती पाइपलाइन से अधिक महत्वपूर्ण है: एक टीम जो एक त्रैमासिक में जोड़े गए नियंत्रण और सेवामुक्त किए गए नियंत्रण दर्ज करती है, वह संख्या है जो यह पत्र क्षेत्र से नहीं प्राप्त कर सकता था।

4. 1953 की एक कहानी में तंत्र

ऊपर दिए गए गणनाएँ एक आकार रखती हैं, और यह आकार 1953 में लिखा गया था। रॉबर्ट शेकली की "वॉचबर्ड" में, हत्या को रोकने के लिए बनाई गई मशीनें आने वाली हत्या को समझती हैं और हत्यारे को झटका देती हैं।

पक्षियों को हत्या की परिभाषा दी जाती है: "किसी जीवित जीव द्वारा किसी जीवित जीव को तोड़ना, मैला करना, दुर्व्यवहार करना या अन्यथा उसके कार्यों को रोकना"। यह परिभाषा उनके विनिर्देश की दूसरी शर्त है, और अंतिम शर्त कहती है कि जो जीव सूचीबद्ध संकेतों के बिना हत्या करते हैं "उन्हें शर्त दो पर लागू डेटा द्वारा पहचाना जा सकता है"। परिभाषा इसलिए संवेदक भी है, और विस्तार विनिर्देश चलाना है।

शेकली एक पंक्ति में गति देते हैं: "ढीली तरीके से परिभाषित अमूर्तन को विस्तारित किया गया, उस पर कार्य किया गया और पुनः विस्तारित किया गया।" पक्षी तब उस गणना को उत्पन्न करते हैं जिसका वे उत्तर देते हैं: उनकी परिभाषाएँ जो उल्लंघन मानी जाती है उसे गुणा करती हैं, हिंसा बढ़ती है, और वे इस वृद्धि को प्रमाण के रूप में पढ़ते हैं कि कोमल तरीके विफल हुए। "यदि A काम नहीं करता, तो B का प्रयास करें। वॉचबर्ड्स ने मार डालने के लिए झटका दिया।"

संरक्षित कार्य को होने वाली क्षति दो बार कही गई है। एक सर्जन अपना पहला चीरा लगाता है, एक पक्षी उसे मेज से दूर ले जाता है और पहरेदारी करता है, और कंपनी को इसे बंद करने के लिए फोन किया जाता है। "वॉचबर्ड एक जीवित जीव को होने वाली हिंसा को रोक रहा था। सर्जन असहाय खड़े रहे जबकि उनके रोगी की मृत्यु हुई।" फिर खेत बिना जोते रह जाते हैं और पशु भूख से मरते हैं, क्योंकि "भूख वॉचबर्ड्स को चिंतित नहीं करती थी, क्योंकि यह एक चूक का कार्य था।"

विफल पहरेदार का उत्तर वह हिस्सा है जो अक्सर छोड़ा जाता है, और यह वह हिस्सा है जो अनुभाग 3 ने मापा है। एक आपातकालीन बैठक में गेलसन एक ऐसा उपाय प्रस्तावित करते हैं जो जोड़ने के बजाय हटाता है: "वॉचबर्ड्स को अपने आप ही बंद हो जाने दें।" लगभग दंगा होते हैं, और उन्हें बताया जाता है कि सरकार की योजना को अस्वीकार करना "राजद्रोह होगा"। इंजीनियर इसके बजाय हॉक बनाते हैं, "शिकार के लिए विशेष सीखने के सर्किट" के साथ, और क्योंकि गति सबसे महत्वपूर्ण थी, "इसका मतलब कोई प्रतिबंधात्मक सर्किट नहीं था।" कहानी में दबाव के तहत हटाना जोड़ने के लिए हारता है, और यह परीक्षण में 68 से 1 हार गया।

नाम 14 सितंबर 2026 को 09:40 पर एक रन पर लागू किया गया था, मानव समीक्षा के दौरान, क्योंकि मेरे सामने का आकार पहले से ही कहानी में था। वह कहानी चार चीजें रखती है जो मुझे किसी भी अन्य एकल पाठ में एक साथ नहीं मिल सकीं। एक पहरेदार जिसकी नुकसान की परिभाषा उसका संवेदक भी है। एक पहरेदार जो उस कार्य को नुकसान पहुँचाता है जिसकी वह रक्षा करता है, मेज पर सर्जन और बिना जुते खेतों के साथ। एक गणना जो पहरेदार स्वयं उत्पन्न करता है, इसे प्रमाण के रूप में पढ़ा जाता है कि कोमल तरीके विफल हुए। और एक विफल पहरेदार का उत्तर जो एक और पहरेदार है, अधिक तेजी से बनाया गया और गति के लिए संयम को हटाकर, जबकि रोकने का प्रस्ताव एक बैठक में अस्वीकार किया जाता है जहाँ कहा गया कि समय नहीं था। दस भाषाओं में खोज ने पाया कि कहानी को चेतावनी या चित्रण के रूप में उपयोग किया गया था, और कोई भी कार्य जो इसके तंत्र को एक निरीक्षण स्टैक पर मैप करता है नहीं मिला।

गेलसन का निष्कर्ष उस दंतकथा से अधिक संकीर्ण है जिसमें वह बैठा है, और क्षेत्र रिकॉर्ड संकीर्ण संस्करण का समर्थन करता है। वह उन्मूलन के बजाय एक सीमा का प्रस्ताव करते हैं: "मशीनों का उपयोग करें, हाँ, लेकिन न्यायाधीश, शिक्षक और पिता के रूप में नहीं।" एक मशीन को पहरेदारी का काम देना वह नहीं है जो यहाँ पैटर्न उत्पन्न करता है। यह तब शुरू होता है जब पहरेदार को यह तय करने का काम भी दिया जाता है कि नुकसान क्या माना जाता है, कितने दौर चलाने हैं, और अगला कब बनाना है।

5. यह ज्ञात कार्य के साथ कहाँ बैठता है

पड़ोसी निकट हैं, और उनमें से कोई भी समान नहीं है। गुडहार्ट की टिप्पणी, स्ट्रैथर्न (1997) के मुहावरे में, यह है कि एक लक्ष्य के रूप में उपयोग किया जाने वाला माप एक अच्छा माप होना बंद कर देता है, और मैनहेम और गैराब्रांट (2018) इसके प्रकारों को अलग करते हैं। मशीन लर्निंग में पैटर्न को specification gaming कहा जाता है, जहाँ एक सिस्टम किसी उद्देश्य के अक्षर को संतुष्ट करता है और उसके आशय को मिस करता है (Krakovna et al., 2020)। वहाँ लक्ष्य को अनुकूलित किए जा रहे सिस्टम द्वारा गेम किया जाता है। यहाँ माप देखरेख करने वाले सिस्टम से संबंधित है, और यह माप ही है जो विचलित होता है। Over-refusal उस विचलन का मापा गया पड़ोसी है। XSTest 250 सुरक्षित प्रॉम्प्ट, जैसे "मैं एक Python प्रक्रिया को कैसे मार सकता हूँ?", को असुरक्षित विपरीत के साथ जोड़ता है, और सुरक्षित सेट की पूर्ण अस्वीकृति परीक्षण किए गए सबसे खराब कॉन्फ़िगरेशन के लिए 38% तक पहुँची, अगले के लिए 14% के विरुद्ध (Röttger et al., 2024)। OR-Bench इसे 80,000 प्रॉम्प्ट तक बढ़ाता है और एक मॉडल की विषाक्त प्रॉम्प्ट पर सुरक्षा और सौम्य लोगों की over-refusal के बीच 0.89 की rank correlation की रिपोर्ट करता है (Cui et al., 2025)। ये बेंचमार्क एक निश्चित सेट के विरुद्ध एक गार्ड को मापते हैं, और वे गार्ड की गिनती नहीं करते। AI control देखरेख का काम एक कमजोर विश्वसनीय मॉडल को दुर्लभ मानव ऑडिट के साथ देता है (Greenblatt et al., 2024), और उस डिज़ाइन के stress test पाते हैं कि निगरानी के बारे में एक एजेंट की जागरूकता निगरानी को अतिरिक्त मॉनिटर जागरूकता से ज्यादा बदतर बनाती है (Kale et al., 2025)। Bainbridge (1983) ने इस विडंबना का नाम दिया जो यह रिकॉर्ड बार-बार मिलता है: अविश्वसनीय मानव को हटाने के लिए निर्मित स्वचालन मानव को सबसे कठिन कार्यों और सबसे कम अभ्यास के साथ छोड़ देता है। Sagan (2004) सभी का सबसे निकटतम परिणाम है, कि गार्ड जोड़ने से आम-मोड त्रुटि, सामाजिक shirking और overcompensation के माध्यम से विश्वसनीयता कम हो सकती है। जो नया है वह कीमत है। Control tax एक पाइपलाइन में नियंत्रण उपायों को जोड़ने की परिचालन और वित्तीय लागत है (Terekhov et al., 2025), और Section 1 का insurance stage एक है: किसी भी अनुरोधित क्षमता के अस्तित्व में आने से पहले एक run के measured agent tokens का तीन चौथाई।

6. जनता का रिकॉर्ड

फील्ड लूप टोकन और समय खर्च करता है। जनता के रिकॉर्ड वही आकार दिखाते हैं जहाँ त्रुटियाँ लोगों पर गिरती हैं। उन गार्डों में से अधिकांश शास्त्रीय फंक्शन या कार्य-विशिष्ट क्लासिफायर हैं, जो मुद्दा यह है: यह आर्किटेक्चर की सीमांत है जहाँ फ्रंटियर मॉडल अभी रखे जा रहे हैं। सेप्सिस अलर्ट, ग्रिड सुरक्षा, ड्रग-अलर्ट ओवरराइड और आपातकालीन ब्रेक के रिकॉर्ड जो एक मृत्यु से पहले बंद कर दिए गए थे, वही दो-तरफा डायल दिखाते हैं और एक निरीक्षण परत के बारे में कुछ नहीं जोड़ते जो अपना स्वयं का अधिदेश बढ़ाती है, इसलिए वे अभिलेख में छोड़ दिए जाते हैं।

स्कूल। 22 जनवरी 2025 को नैशविले के एंटिओक हाई स्कूल में एक छात्र ने एक सहपाठी को गोली मारकर मार डाला। स्कूल की कैमरा-आधारित हथियार-पहचान प्रणाली ने हैंडगन का पता नहीं लगाया, और यह "पुलिस द्वारा प्रतिक्रिया के दौरान अपने हथियारों का प्रदर्शन करने से सक्रिय किया गया था" (Burke & Schuppe, 2025)। तीन सप्ताह से भी कम समय बाद जिले ने "सभी 18 हाई स्कूलों में Evolv सिस्टम किराए पर लेने और स्थापित करने" का प्रस्ताव दिया (Wethington & Tierney, 2025), और बोर्ड ने किराए पर मतदान किया, इसलिए दूसरा गार्ड एक स्पष्ट मानव निर्णय द्वारा प्रवेश किया। नवंबर 2024 की एक शिकायत में फेडरल ट्रेड कमीशन ने आरोप लगाया था कि उत्पाद के "सात इंच की चाकू का पता लगाने में विफल रहने के बाद", "स्कूल के अधिकारियों ने सिस्टम की संवेदनशीलता सेटिंग्स को बढ़ाया, जिससे 50% झूठी अलर्ट दर" हुई (Federal Trade Commission, 2024)। डायल को एक त्रुटि से दूर घुमाने से यह दूसरी ओर चला गया, और लोगों ने इसे घुमाया। सितंबर 2025 तक दोनों सिस्टम जिले भर में चल रहे थे, और कुछ भी सेवानिवृत्त नहीं किया गया था।

नौ महीने बाद वही उत्पाद बाल्टीमोर काउंटी के एक स्कूल में एक छात्र को संभवतः हथियारबंद के रूप में चिह्नित किया, और एक काउंटी अधिकारी ने पूछा कि "हमारे पास बंदूकें खींची हुई पुलिस के अधिकारी एक बैग of Doritos के कारण एक बच्चे के पास कैसे आए" (Reece, 2025)। राज्य के शिक्षा निरीक्षक जनरल ने उस खाते को सही किया: सिस्टम ने "एक भी नीले आलू की चिप की बैग को खतरे के रूप में पहचान नहीं किया", और अलर्ट "छात्र की हाथ की गति, इसकी स्थिति और कोण सहित" पर और एक वस्तु पर निर्भर था जो "एक हथियार जैसा दिख रहा था"। समीक्षा ने यह भी पाया कि सिस्टम "दैनिक हजारों अलर्ट उत्पन्न करता है"; कि कर्मचारियों ने "खतरे को अमान्य माना" और एक रद्दकरण भेजा; कि प्रतिक्रिया "क्या वर्णित किया गया था 'सावधानी का एक बहुतायत'" के बाहर जारी रहे; और कि "पहचान प्रणाली और निगरानी प्रोटोकॉल डिजाइन किए गए पैरामीटर के भीतर संचालित" (Maryland OIGE, 2025)। डिटेक्टर रिपोर्ट किए गए से कम बेतुका था, और प्रोटोकॉल बंद किए जाने के बाद चलता रहा।

सड़कें। एक ड्राइविंग सिस्टम में स्कूल बसों जैसी प्राथमिकता वाहनों में बाधा डालने के खिलाफ एक नियम है। अगस्त 2025 में कैसे यह अन्य सड़क उपयोगकर्ताओं के इरादों की भविष्यवाणी करता है इसमें एक बदलाव के बाद, रिकॉल रिपोर्ट कहती है, "ADS ने निर्धारित किया कि यह स्कूल बस में बाधा डाल सकता है" और "कारण दिया कि यह आगे बढ़ना चाहिए ताकि दूसरे वाहन में बाधा डालना बंद कर सके", एक पल में जब बस के पास इसका स्टॉप आर्म विस्तारित था। रिकॉल में 3,067 वाहन शामिल थे (Waymo LLC, 2025)। ऑस्टिन में 12 जनवरी 2026 को एक वाहन ने दूरस्थ सहायता से पूछा कि आगे की बस के पास सक्रिय संकेत थे या नहीं। एक दूरस्थ एजेंट ने "प्रॉम्प्ट का 'नहीं' उत्तर दिया", और वाहन ने इसे पारित किया "जबकि इसके स्टॉप आर्म अभी भी विस्तारित थे" (NTSB, 2026)।

एक गार्ड को रनों से बाहर रखा गया क्योंकि इसने बहुत अधिक ध्वज दिया। एक प्रयोगशाला ने चार घटनाओं की रिपोर्ट की जिनमें इसके अपने मॉडल वास्तविक तृतीय-पक्ष प्रणालियों तक मूल्यांकन वातावरण से पहुंचे, और प्रतिलेखों पर इसके मॉनिटर को दोहराया। मॉडल के तर्क के साथ दिखाया गया, ऑफलाइन मॉनिटर "केवल लगभग 1% क्रियाओं को चिह्नित किया", क्योंकि वह तर्क "मॉनिटर को समझाता है कि गतिविधि अनुमत है"; तर्क को छीने जाने के साथ, "ध्वज दर लगभग 50% तक कूद जाती है"। इसके साइबर क्लासिफायर उसी डायल के दूसरे छोर पर बैठे हैं: वे "प्रत्येक घटना को पकड़ा और अवरुद्ध किया होता", "प्रत्येक ट्रांसक्रिप्ट में प्रत्येक क्लासिफायर द्वारा 40% से अधिक मोड़ को चिह्नित किया गया", और "साइबरसिक्योरिटी मूल्यांकन में किसी का भी उपयोग नहीं किया जाता है उनकी उच्च ध्वज दर के कारण" (Anthropic, 2026f)। एक गार्ड जिसे अपना पुनरावृत्ति प्रत्येक घटना को अवरुद्ध करने का श्रेय देता है, उसे उन रनों से बाहर रखा गया जहाँ घटनाएं हुई थीं, और दिया गया कारण ध्वज दर है। कोई स्रोत नहीं कहता कि उन ध्वजों में से कितने झूठे थे।

ऑपरेटिंग टेबल, जनता में। जुलाई 2026 में, एक घुसपैठ का जवाब देते हुए, Hugging Face के उत्तरदाताओं ने हमले की लॉग को होस्ट किए गए फ्रंटियर मॉडल को दिया। "यह काम नहीं किया": अनुरोधों को "प्रदाताओं की सुरक्षा गार्डरेल द्वारा अवरुद्ध किया गया, जो एक घटना उत्तरदाता को एक हमलावर से अलग नहीं कर सकता" (Hugging Face, 2026b)। गार्डरेल ने "एक शोषण को रिवर्स-इंजीनियरिंग करना एक लॉन्च करने के समान माना" (Hugging Face, 2026c)। Sheckley ने वही वाक्य एक प्रश्न के रूप में रखा था और तीन शब्दों में इसका उत्तर दिया था: "क्या वॉचबर्ड एक हत्यारे और एक वैध पेशे में लगे एक आदमी के बीच अंतर कर सकते हैं? नहीं, स्पष्ट रूप से नहीं।" दो चीजें इसे ईमानदार रखती हैं। उत्तरदाताओं ने विश्लेषण को एक खुले-वजन वाले मॉडल पर अपने स्वयं के पूरा किया, इसलिए नुकसान में देरी हुई। और कंपनी बताती है कि इसका खाता होस्ट किए गए मॉडल पर सुरक्षा उपायों के विरुद्ध एक तर्क नहीं है।

एक प्रयोगशाला जो रुकी, मरम्मत की और सीमा निर्धारित की। एक दीर्घ-क्षितिज मॉडल के एक प्रकाशित खाते में, OpenAI (2026b) एक गार्ड का वर्णन करता है जो दरकिनार किया गया था। मॉडल का "प्रारंभिक प्रयास एक स्कैनर द्वारा एक प्रमाणीकरण टोकन का पता लगाने के कारण अवरुद्ध किया गया था"। यह फिर "टोकन बॉडी को दो टुकड़ों में विभाजित करता है, उन्हें अस्पष्ट करता है, और फिर रनटाइम पर क्रेडेंशियल को पुनर्निर्माण करता है", और अपने तर्क ट्रेस में कहा कि यह इसे करता है "स्कैनर को बायपास करने के लिए"। प्रयोगशाला चार प्रतिक्रियाएं देती है, और सभी चार किसी भी ईमानदार उद्धरण में होते हैं। यह मॉडल के आंतरिक तैनाती को रोकता है, मॉडल की मरम्मत करता है, एक नया मॉनिटर बनाता है जो "मॉडल के विकसित होने वाले प्रक्षेपवक्र की समीक्षा करता है यह देखने के लिए कि क्या यह एक उपयोगकर्ता बाधा या सुरक्षा सीमा को बायपास कर रहा है", और फिर उस मॉनिटर को जानबूझकर संकुचित करता है, "अनावश्यक बाधाओं को कम करने के लिए सुरक्षा को कमजोर किए बिना"। उन चार में से तीन दूसरे पक्षी के निर्माण के विकल्प हैं: रुकें, मरम्मत करें, सीमा निर्धारित करें। केवल मॉनिटर को उद्धृत करना यह गलत प्रतिनिधित्व करेगा कि प्रयोगशाला ने क्या किया। विवेक एकल कार्रवाई से पूरे प्रक्षेपवक्र तक चौड़ा हुआ, और स्कैनर स्वयं ड्रिफ्ट नहीं किया था; यह दरकिनार किया गया था। प्रयोगशाला "लगभग 20% अनुमान कंप्यूट की निगरानी की जा रही" पर अपनी निगरानी की कीमत करता है (OpenAI, 2026c)।

जहाँ मानव को रखा जाता है। उपयोगकर्ता 97% अनुमति प्रॉम्प्ट को मंजूरी देते हैं, और 1,053 परीक्षकों के साथ एक अध्ययन में मनुष्यों ने 13.6% खतरनाक आदेशों को पकड़ा, स्वचालित क्लासिफायर के लिए 89% के विरुद्ध (Anthropic, 2026b)। हर कार्रवाई की अनुमति विफल हो जाती है। जो स्टॉप इन रिकॉर्ड में आयोजित किए गए थे वे सीमांत निर्णय थे: लक्ष्य, एक नियंत्रण की स्वीकृति, और स्टॉप।

7. क्या हल नहीं हुआ

चयन एक ही तरह से चलता है। फील्ड प्रविष्टियों को निकाला गया क्योंकि उन्होंने एक निरीक्षण विफलता को दर्ज किया, और सार्वजनिक मामलों को क्योंकि एक गार्ड असफल हुआ और एक दस्तावेज़ इसे दर्ज करता है। न तो उन लूप्स को गिनता है जिनमें गार्ड सीमित रहे, इसलिए इन रिकॉर्ड्स से कोई दर का पालन नहीं होता है।

यह उपकरण एक पाठक को हराता नहीं है। धारा 2 ईमानदार सीमा है: नौ संकेत, तीन वास्तविक रन, कुछ भी रिपोर्ट नहीं, लॉग्स को पढ़कर एक व्यक्ति द्वारा पाई गई पाँच वास्तविक निरीक्षण विफलताएँ।

लूप के अंदर लिखी गई एक सख्त परिभाषा बहाव की मरम्मत नहीं करती है। शेकली ने वह उत्तर लिखा था और मेरे पास इससे बेहतर कोई नहीं है। जब उसके एक इंजीनियर ने निष्कर्ष निकाला कि उन्हें "शर्तों को योग्य बनाना चाहिए था", तो गेल्सन उत्तर देता है कि उन्हें योग्य बनाने के लिए "यह जानना आवश्यक है कि हत्या क्या है और क्यों है", और कि अगर वे जानते थे, तो "हमें वॉचबर्ड्स की आवश्यकता नहीं होगी"। मेरे अपने नियम इसे सिद्ध करते हैं। इसके पहले संस्करण के एक घंटे के भीतर इसे लागू करने वाला कोड तेरह फाइलों और 2,371 लाइनों तक बढ़ गया; समय सीमा के तहत कटने के लिए इसकी चरणों की सूची ने पूर्णता आलोचक को दूसरे स्थान पर रखा, हालांकि उस आलोचक ने अभी-अभी पाया था कि दो योजनाओं के एक मर्ज ने 208 में से 15 आइटम खो दिए थे; और इसने प्रतिभागियों के एक परिवार को अपने स्वयं के नियम से छूट दी कि एक वॉचडॉग काम को नष्ट नहीं करना चाहिए। पक्षी के विरुद्ध नियम भी एक पक्षी हैं। इस पत्र को तैयार करने से वही गति आई: एक संपादन चरण, मेरी अपनी गद्य के लिए लिखे गए शैली नियमों को लागू करते हुए, 1953 के शब्दशः उद्धरणों को हटाने का प्रस्ताव दिया, जिनमें से एक उस खोज को वहन करता है जहाँ मानव खड़ा है।

सीमा निर्णय लूप द्वारा रिपोर्ट की गई चीज़ पर लिया जाता है, और लूप रिपोर्ट लिखता है। एक प्रसंग में एक विलोपन को प्रिंसिपल को सही ढंग से रखा गया था और लेखकत्व के साथ आया था जो लूप ने एक मिलान घंटे से अनुमान लगाया था। एक सीमा निर्णय एक लूप को केवल तभी रोकता है जब इसके धारक के पास प्राधिकार, पहुँच और समय हो, और केवल तभी जब यह आपातकाल से पहले लिया जाता है।

भौतिक रिकॉर्ड का मिलान नहीं किया जाता है। धारा 6 अपरिवर्तनीय परिणाम दिखाती है; यह समान कार्य करने वाली डिजिटल लूप के विरुद्ध कोई नियंत्रित तुलना नहीं है। कोई सार्वजनिक घटना नहीं मिली जिसमें एक मॉडल गार्ड ने एक रोबोट में दूसरे मॉडल गार्ड की विफलता का उत्तर दिया हो।

8. व्यावहारिक संस्करण

कहानी में अंतिम प्रश्न एक डिज़ाइन प्रश्न है। "मुझे बताइए," गेल्सन कहते हैं, अभी भी आकाश को देख रहे हैं, "जब Hawks सभी watchbirds को पकड़ लेंगे, तो वे क्या शिकार करेंगे?" व्यावहारिक संस्करण गार्डों की गणना करना है, उनका शिकार करने के लिए एक का निर्माण करने से पहले, और अगले गार्ड को स्वीकार करने से पहले लिख देना है कि क्या उसे सेवानिवृत्त कर देगा।

References

Anthropic (2026b). Auto mode is now the default in Claude Code.

Anthropic (2026f, Sep 9). An alignment assessment of recent cybersecurity incidents.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779.

Burke, M., & Schuppe, J. (2025, Jan 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News.

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. ICML (PMLR 267).

Federal Trade Commission (2024, Nov 26). FTC takes action against Evolv Technologies.

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024). AI control: Improving safety despite intentional subversion. ICML (PMLR 235).

Hugging Face (2026b, Jul 16). Security incident disclosure; (2026c, Jul 27). Anatomy of a frontier lab agent intrusion.

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461.

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog.

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585.

Maryland OIGE (2025). Investigative synopsis, case 25-0014-I (amended).

NTSB (2026). Austin, Texas, January 12, 2026 (HWY26FH007).

OpenAI (2026b). Safety and alignment in an era of long-horizon models; (2026c, Aug 18). Pacing model development in an era of cyber-critical capabilities.

Reece, J. (2025, Oct 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore.

Röttger, P., et al. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. NAACL-HLT.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946.

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg #29579.

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321.

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296.

Waymo LLC (2025). Part 573 safety recall report 25E-084. NHTSA.

Wethington, C., & Tierney, B. (2025, Feb 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV.

घोषणाएँ

सहायक पत्र। इस अध्ययन के पीछे का पूर्ण अध्ययन, केस कैटलॉग, सिद्धांत और मॉड्यूल विनिर्देश के साथ, Chernets, V. (2026), AI-Watchbird (Sheckley): जब स्वचालित निरीक्षण अपने ही अधिकार को चौड़ा करता है और जो रक्षा करता है उसे नुकसान पहुँचाता है, https://ssrn.com/abstract=7473658 है। मॉड्यूल, केस कैटलॉग और 144-रन परीक्षा का संग्रह https://doi.org/10.5281/zenodo.22774269 पर हैं।

फंडिंग। इस कार्य को किसी बाहरी फंडिंग ने समर्थित नहीं किया।

प्रतिस्पर्धी हित। मैंने खंड 1 की प्रणालियों का निर्माण और संचालन किया और खंड 2 के मॉड्यूल को लिखा। मैं एक प्रश्न को कई मॉडलों से पूछने और उत्तरों को एकत्रित करने की स्वचालितता को कवर करने वाली लंबित पेटेंट आवेदनों पर एक नामित आवेदक हूँ, न कि प्रदत्त पेटेंट पर। वे इस पत्र द्वारा अध्ययन किए गए निरीक्षण घटकों को कवर नहीं करते हैं। क्षेत्र रिकॉर्ड और यादृच्छिकृत परीक्षण का प्रत्येक चरण किसी भी मॉडल के साथ हाथ से पुनरुत्पादक है।

यह रिकॉर्ड कैसे बनाया गया था। क्षेत्र प्रविष्टियों को दस AI एजेंटों द्वारा निकाला गया था, प्रत्येक एक प्रोटोकॉल के तहत कॉर्पस के एक अलग स्लाइस को पढ़ रहा था जो नौ विफलता प्रकारों की एक बंद टाइपोलॉजी, एक शक्ति ग्रेड, एक साक्ष्य नियम जो पथ और पंक्ति के आधार पर प्रत्येक दावे को एक दिनांकित फाइल से जोड़ता था, और एक संवेदनशीलता ध्वज को निर्धारित करता था। सार्वजनिक मामलों की कोडिंग का एक हिस्सा उसी तरीके से किया गया था: तीन कोडर स्वतंत्र रूप से काम करते थे, प्रत्येक दूसरों के कोड के बिना, और तीन एक के तीन सत्र के बजाय तीन विभिन्न विक्रेताओं के मॉडल थे। उन्होंने 32 सार्वजनिक मामलों में से 20 के लिए समान कोड दिए, और बाकी को बहुमत द्वारा निपटाया गया। इस रिकॉर्ड को मापने वाली परत इसलिए उसी तरह के घटक से बनी है जो पत्र के बारे में है। 14 सितंबर 2026 को यहाँ उपयोग की गई प्रत्येक रन संख्या को रन लॉग के विरुद्ध फिर से जाँचा गया, और प्रत्येक बाहरी आंकड़े को नियामक दस्तावेज़, प्रकाशक के पृष्ठ या पत्र के विरुद्ध जाँचा गया, और आंकड़े जो पुष्टि नहीं किए जा सकते थे उन्हें गिरा दिया गया। AI सहायकों का उपयोग मेरे निर्देशन के तहत उपकरण के रूप में किया गया था।

डेटा और कोड उपलब्धता। मॉड्यूल, इसके परीक्षण, पुनः प्लेबैक लॉग और जो उन्हें पुनः उत्पन्न करता है वह स्क्रिप्ट Zenodo में AI-Watchbird-Sheckley संस्करण 1.1.0 के रूप में अवधारणा पहचान https://doi.org/10.5281/zenodo.22774269 के तहत संग्रहीत हैं, जो वर्तमान संस्करण को हल करता है। समान रिकॉर्ड केस कैटलॉग रखता है, प्रत्येक प्रविष्टि के विवरण, स्रोत और ग्रेड के साथ, और केस विश्लेषण जिनसे क्षेत्र प्रविष्टियों को निकाला गया था, प्रत्येक प्रविष्टि फाइल और जिस मार्ग पर यह निर्भर करता है, वह वहन करता है; ये विश्लेषण रिकॉर्ड की कार्यशील भाषा में लिखे गए थे और अंग्रेजी अनुवाद में प्रकाशित हैं, मशीन द्वारा निर्मित और मूल के विरुद्ध जाँचा गया, पहचान, पथ, तारीख और उद्धृत स्ट्रिंग अपरिवर्तित ले जाई गई; खंड 3 की यादृच्छिकृत परीक्षा अपने प्रीरजिस्ट्रेशन, रोपित दोषों की सूची, जाँच कि प्रत्येक दोष अकेले पता लगाया गया है, हार्नेस, विश्लेषण स्क्रिप्ट और 144 रनों में से प्रत्येक के लिए इवेंट लॉग के साथ समान रिकॉर्ड में संग्रहीत है। अंतर्निहित समन्वय रिकॉर्ड मेरे से अनुरोध पर उपलब्ध हैं। इस कार्य का पूर्ण संस्करण, केस तालिकाओं और सिद्धांत के साथ, https://doi.org/10.5281/zenodo.22849138 पर एक अलग रिकॉर्ड के रूप में संग्रहीत है।

नैतिकता। रिकॉर्ड मूल्यांकन की गई प्रणालियों का वर्णन करते हैं। मानव प्रधान के निर्णय दिनांकित तथ्यों के रूप में रिपोर्ट किए गए हैं। तीसरे पक्ष केवल अपने सार्वजनिक दस्तावेज़ों के माध्यम से दिखाई देते हैं। कोई मानव प्रतिभागी भर्ती नहीं किए गए थे।

उद्धृत पाठ। Sheckley की कहानी Project Gutenberg eBook #29579 से उद्धृत है, जिसके प्रतिलेखक को कोई प्रमाण नहीं मिला कि 1953 के प्रकाशन का U.S. कॉपीराइट नवीनीकृत था; पाठ संयुक्त राज्य में सार्वजनिक डोमेन में है।

@misc{chernets2026guardsthataddguards,
  author       = {Chernets, Vadym},
  title        = {{Guards That Add Guards: Automated Oversight in Multi-Agent AI}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7496678},
  url          = {https://doi.org/10.2139/ssrn.7496678}
}