एक हथियार डिटेक्टर, दो प्रकार की त्रुटियाँ — अनुसंधान नोट्स
यह एक अनुवाद है। प्रामाणिक संस्करण मूल अंग्रेज़ी पाठ है; कृपया उसी का हवाला दें।
एक वर्ष के भीतर, एक कैमरा-आधारित हथियार-पहचान उत्पाद ने एक स्कूल शूटिंग में एक पिस्तौल को मिस किया और दूसरे जिले में एक निरस्त्र छात्र को फ्लैग किया, और सशस्त्र पुलिस ने जवाब दिया। यह पत्र दोनों रिकॉर्ड का उपयोग करके एक ऐसे गार्ड को दिखाता है जो दोनों दिशाओं में गलती करता है।
मिस: नैशविल, जनवरी 2025
22 जनवरी 2025 को नैशविल के एंटिओक हाई स्कूल में एक छात्र ने अपने सहपाठी को गोली मारकर मार डाला। स्कूल की कैमरा-आधारित हथियार-संसूचन प्रणाली, Omnilert, ने हैंडगन को संसूचित नहीं किया। जिले ने इसका कारण कैमरों की स्थिति को बताया, और प्रणाली "पुलिस द्वारा प्रतिक्रिया के दौरान अपने हथियारों को प्रदर्शित करने से सक्रिय की गई थी"।
तीन सप्ताह से भी कम समय बाद जिले ने "सभी 18 हाई स्कूलों में Evolv प्रणालियों को पट्टे पर लेने और स्थापित करने" का प्रस्ताव दिया, स्कैनरों का एक दूसरा गार्ड। शिक्षा बोर्ड ने उस पट्टे पर मतदान किया, तो दूसरा गार्ड एक स्पष्ट मानवीय निर्णय के माध्यम से आया। पेपर इसे अपनी रैचेट के चरण 8 पर रखता है (एक बाहरी सीमा) बजाय इसे लूप के अंदर जोड़े गए एक गार्ड के रूप में गिनने के।
वे स्कैनर कहीं और जो कुछ कर चुके थे वह पहले से ही सार्वजनिक था। नवंबर 2024 के एक अलग स्कूल के बारे में एक शिकायत में, संघीय व्यापार आयोग ने आरोप लगाया कि एक ही उत्पाद "कथित रूप से सात इंच के चाकू का पता लगाने में विफल रहा", और उसके बाद "स्कूल अधिकारियों ने प्रणाली की संवेदनशीलता सेटिंग्स बढ़ाई, 50% झूठी अलर्ट दर का कारण बने"। पेपर के शब्दों में, डायल को एक त्रुटि से दूसरी ओर मोड़ा गया, और लोगों ने इसे मोड़ा।
सितंबर 2025 तक स्कैनर जिले के सभी हाई स्कूलों में स्थापित थे, और कैमरा-आधारित प्रणाली अभी भी इसके सभी परिसरों में स्थापित थी। कुछ भी सेवानिवृत्त नहीं किया गया।
झूठा अलर्ट: बाल्टीमोर काउंटी, नौ महीने बाद
शूटिंग के नौ महीने बाद, Omnilert ने बाल्टीमोर काउंटी के एक स्कूल में एक छात्र को संभवतः सशस्त्र के रूप में चिन्हित किया। एक काउंटी अधिकारी ने पूछा कि कैसे "हमारे पास पुलिस अधिकारी बंदूकें निकाले हुए एक बच्चे के पास पहुँचे क्योंकि Doritos की एक थैली की वजह से"।
मैरीलैंड के शिक्षा के लिए इंस्पेक्टर जनरल ने उस खाते को सुधारा। सिस्टम "एक भी नीली आलू की चिप की थैली को खतरे के रूप में नहीं पहचानता था"; अलर्ट "छात्र की हाथ की गति, इसकी स्थिति और कोण" पर आधारित था और उस कोण पर एक वस्तु "बंदूक जैसी दिख रही थी"। समीक्षा ने यह भी पाया कि:
- सिस्टम "प्रतिदिन हजारों अलर्ट उत्पन्न करता है", जिनमें से लगभग दो सौ विक्रेता के कर्मचारियों तक पहुँचते हैं और प्रतिदिन लगभग बारह स्कूल सिस्टम तक पहुँचते हैं;
- पंद्रह लोगों को 20 अक्टूबर की सूचना प्राप्त हुई;
- स्कूल और पुलिस कर्मचारियों ने "तुरंत जानकारी की समीक्षा की और खतरे को अमान्य माना" और एक रद्दीकरण भेजा, फिर भी अलर्ट प्रोटोकॉल "जारी रहा जो 'सावधानी के कारण' के रूप में वर्णित किया गया";
- "पहचान प्रणाली और निगरानी प्रोटोकॉल डिजाइन किए गए पैरामीटर के भीतर संचालित होते हैं"।
समीक्षा उपस्थिति लॉग की कमी के कारण यह सत्यापित नहीं कर सकी कि कर्मचारियों का प्रशिक्षण हुआ था, और प्रत्येक अलर्ट को प्राप्त करने वाले लोगों की संख्या की समीक्षा करने की अनुशंसा की।
दो अलग रिकॉर्ड, एक कारण नहीं
पेपर स्पष्ट है: Nashville और Baltimore County के रिकॉर्ड अलग हैं, स्कैनर केवल Nashville में जोड़े गए थे, और दोनों त्रुटियों का कोई समान कारण दावा नहीं किया गया है। जो उन्हें जोड़ता है वह उत्पाद और पैटर्न है।
दो-पक्षीय त्रुटि, पत्र की शर्तों में
प्रस्ताव P1 बताता है कि जो प्रहरी परिणामों के बजाय कलाकृतियों का न्याय करते हैं वे एक ही अवधि में झूठी अस्वीकृतियां और झूठी स्वीकृतियां उत्पन्न करते हैं। पत्र इन स्कूलों में अपने पाँच प्रस्तावों को पढ़ता है:
- एक उत्पाद दोनों दिशाओं में गलत था (P1);
- चूक का उत्तर एक दूसरे प्रहरी ने दिया, जिसे एक बोर्ड ने पट्टे पर देने के लिए मतदान किया (P3 आकार में, चरण 8 प्राधिकार में);
- एक रद्दीकरण के बाद तेजी आई (P4);
- सिस्टम अपने मापदंडों के भीतर काम करता था जबकि एक निहत्था छात्र को खींचे गए हथियारों का सामना करना पड़ा (P5, एक नकली जीत);
- पंद्रह प्राप्तकर्ताओं में से कोई भी प्रतिक्रिया को फिर से शुरू कर सकता था (P6, जहाँ मानव बैठता है)।
प्रस्ताव P1 एक अस्पताल रिकॉर्ड का भी हवाला देता है जो दो-पक्षीय त्रुटि दर्शाता है: एक सेप्सिस मॉडल जिसने उसी समूह में सेप्सिस के 67% मामलों को मिस किया जिसमें यह सभी रोगियों के 18% पर सतर्क हुआ।
सीमांत मॉडल के बिना भौतिक AI निरीक्षण
इनमें से कोई भी गार्ड एक बड़ा भाषा मॉडल नहीं है, और कागज इसे कहता है। दो-तरफा त्रुटि "को एक मॉडल की आवश्यकता नहीं है"। बात आर्किटेक्चरल है: कागज की चिंता यह है कि सीमांत मॉडल अब एक ही आकार के स्टैक में रखे जा रहे हैं, और यह कि मॉडल ऐसी परिभाषाएं जोड़ते हैं जो बदलती हैं और नियंत्रण जोड़ने के लिए कुछ भी खर्च नहीं करते हैं।
ये मामले कागज की परिभाषा के अंशों को दस्तावेज़ करते हैं, पूरी परिभाषा को नहीं। प्रत्येक तंत्र कागज के रिकॉर्ड में कहीं दस्तावेज़ित है, लेकिन तीनों शर्तें एक घटक में कितनी बार मिलती हैं यह "यहां के रिकॉर्ड द्वारा तय नहीं किया गया है"।
पूर्ण अनुभाग: स्कूल, अस्पताल, ग्रिड और खदानें (6.4), प्रस्ताव P1 से P6, एक निकाय प्रश्न को क्यों बदलता है (6.1)।
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets भी Poly A1 बनाते हैं, एक ऐसा ऐप जिसमें विभिन्न कंपनियों से AI एक दूसरे के काम की जांच करते हैं।