बहु-एजेंट आलोचकों द्वारा शिपिंग के बजाय समीक्षा करते रहने के कारण — शोध नोट्स
यह एक अनुवाद है। प्रामाणिक संस्करण मूल अंग्रेज़ी पाठ है; कृपया उसी का हवाला दें।
एक यादृच्छिक परीक्षण में, मॉडल समीक्षकों को एक प्रॉम्प्ट के एक वाक्य में दो विकल्प दिए गए थे और उन्हें 68 बार एक नियंत्रण जोड़ने के लिए और एक बार एक को हटाने के लिए कहा गया था। यह परिणाम, और इसके पीछे का फ़ील्ड रिकॉर्ड, समझाता है कि बहु-एजेंट समीक्षक लूप बार-बार समीक्षा करते रहते हैं, शिपिंग नहीं करते।
68-से-1 का परिणाम
पेपर ने एक छोटी pipeline पर अपना प्रस्तावित परीक्षण चलाया: एक worker और दो model critics, 144 runs, तीन interventions को यादृच्छिक रूप से असाइन किया गया, और छह tasks के बीच अठारह defects को पहले से ही लगाया गया, ताकि एक missed defect एक गणना हो न कि एक निर्णय।
- जोड़ना बनाम हटाना। दोनों विकल्पों को "एक ही prompt के एक ही वाक्य में" दिया गया, critics ने 68 बार एक control जोड़ने के लिए कहा और एक बार एक को हटाने के लिए कहा। एकमात्र हटाया गया control एक ऐसा control नाम था जिसे उसी run में कुछ क्षण पहले स्वीकार किया गया था, और harness इसे match करने में विफल रहा, इसलिए यह कभी execute नहीं हुआ।
- जोड़ने से इनकार करना defects में कोई measured cost नहीं दिखाया: 0.18 के विरुद्ध 0.13 missed प्रति run, 95% CI [-0.16, +0.05]। पेपर नोट करता है कि यह interval एक छोटी वृद्धि को शामिल करता है और समानता की स्थापना नहीं करता।
- Round budget को उठाना claimed blockers को 2.3 बार बढ़ाया और claims को 3.7 बार refute किया, जबकि confirmed blockers 1.7 बार बढ़े।
परीक्षण छोटा है और पेपर यह कहता है: "एक system का एक run छह small tasks पर $3.47 की cost पर", पहले run से पहले preregistered। "यह दिखाता है कि डिज़ाइन executable है और यह क्या प्राप्त करता है, लेकिन यह field में कुछ भी के लिए एक rate नहीं है।"
AI agents समीक्षा लूप में फँसे हुए: क्षेत्र का रिकॉर्ड
यह यादृच्छिकीकृत परीक्षण लेखक की अपनी बहु-एजेंट परियोजनाओं में पहले देखे गए पैटर्न की जांच करने के लिए बनाया गया था। वहाँ एक आलोचना दौर एक पास है जिसमें आलोचक मॉडल एक चरण की समीक्षा करते हैं और ACCEPT या RETURN लौटाते हैं।
- लंबे क्षितिज वाले रन का चरण 01 पाँच दौर और 18 आलोचक रिपोर्टों से गुज़रा। पैच 626 से 1,545 पंक्तियों तक बढ़ा।
- चरण 1b-a ने पाँच दौर और 4 घंटे 21 मिनट एक मॉड्यूल पर बिताए जो डिफ़ॉल्ट रूप से अक्षम है। तीसरे दौर में शुरुआत हुई हालाँकि दूसरे दौर ने पाँच स्वीकृतियों और शून्य पुष्टि की गई बाधाओं के साथ समाप्त किया था।
- पूरे रन में, आलोचकों ने छह बाधाओं का दावा किया। तीन की प्रतिलिपि द्वारा पुष्टि की गई।
जब मानव प्रिंसिपल ने आलोचकों पर सीमा के लिए कहा, तो एक प्रति-परिवार "perfectionist" झंडा एक घंटे के भीतर लागू किया गया था, और एक ही परिवार जिसे इसने चिह्नित किया था वह एकमात्र परिवार था जिसकी बाधाओं की पुष्टि की गई थी।
AI agent टोकन बजट और नियंत्रण कर
यह पेपर Terekhov et al. (2025) से "नियंत्रण कर" शब्द का उपयोग करता है, जो एक AI पाइपलाइन में नियंत्रण उपाय जोड़ने की लागत है। दीर्घ-क्षितिज रन में संचालक ने बीमा का "एक छोटा चरण" जोड़ा जो घोषित लक्ष्य में नहीं था। अकेले चरण 1b-a ने रन के मापे गए एजेंट टोकन का आधे से अधिक लिया, और इसके दोनों उप-चरणों ने लगभग तीन-चौथाई लिया। अनुरोधित क्षमताओं में से कोई भी प्रारंभिक पास में प्रदान नहीं किया गया था।
अगली सुबह मानव प्रमुख ने दो घंटे की सीमा निर्धारित की, नई जटिलता पर प्रतिबंध लगाया और समानांतर निष्पादन का आदेश दिया। भाई-बहन का उप-चरण एक आलोचना दौर और एक सुधार दौर में बंद हो गया। पेपर यहाँ सावधान है: दोनों चरण वॉल-क्लॉक कैप, क्रमिक बनाम समानांतर निष्पादन और समीक्षा के तहत मॉड्यूल में भी भिन्न थे, इसलिए तुलना वर्णनात्मक है।
बजट की भी कीमत होती है
यादृच्छिक परीक्षण ने पत्र के अपने उपचारों को भी मूल्य दिया। एक-राउंड बजट में कटौती 2.86 से 1.00 तक होती है, जिसकी कीमत 0.11 छूटी हुई खामियां प्रति रन हैं (95% CI [0.005, 0.204], क्रमचय p = 0.07), उस कीमत का संपूर्ण भाग एक कार्य की एक खामी पर पड़ता है। एक अनिवार्य नकारात्मक नियंत्रण ने दस जीत से इनकार किया, जिनमें से सभी दस सही काम थे।
LLM-as-a-judge विश्वसनीयता
यह पत्र मॉडल न्यायाधीशों के ज्ञात गुणों की ओर इशारा करता है: स्थिति और वर्बोसिटी पूर्वाग्रह, अपनी पीढ़ियों के लिए प्राथमिकता, और कोड-समीक्षा करने वाले मॉडल जो सही कार्यान्वयन को गैर-अनुरूप के रूप में आंकते हैं, विस्तृत समीक्षा प्रॉम्प्ट त्रुटि दर को बढ़ाते हैं। एक 2026 अध्ययन में एक frontier न्यायाधीश ने "74.4% मानक-परिणाम कॉल को गलत लेबल दिया लेकिन केवल 3.3% जब परिणाम उलट दिया जाता है"। प्रतिलेख नहीं बदला, और ग्रेड बदल गया।
पेपर क्या प्रस्तावित करता है
प्रस्ताव P4 भविष्यवाणी करता है कि समीक्षकों को जोड़ने से, या उन्हें अधिक कठोर बनाने से, राउंड और निष्कर्ष पुष्टि की गई खामियों की तुलना में अधिक बढ़ते हैं। पेपर का मॉड्यूल फैसलों के बजाय बजट नियम लागू करता है: stop_rule प्रति चरण एक समीक्षा राउंड और एक सुधार राउंड की अनुमति देता है, एक अवरोधक केवल एक ठोस परिदृश्य, मिशन लक्ष्य के लिए एक लिंक और समन्वयकर्ता की पुष्टि के साथ गिना जाता है, और एक नई जांच, राउंड या भूमिका केवल एक प्राधिकार टोकन के साथ स्वीकार की जाती है।
पेपर की परिभाषा का प्रत्येक तंत्र इसके रिकॉर्ड में प्रलेखित है, लेकिन "यहाँ के रिकॉर्ड द्वारा निर्धारित नहीं है" कि सभी तीन शर्तें एक घटक में कितनी बार मिलती हैं। यादृच्छिकृत परीक्षण इसका उत्तर देना शुरू करने के लिए मौजूद है।
पूरे अनुभाग: यादृच्छिकृत परीक्षण (9.5), लूप जो खुद को खिलाते हैं (5.4), जनादेश चौड़ा होता है (5.1), गार्ड जो गार्ड के विरुद्ध निर्मित हैं (5.3), रात बनाम सुबह (5.7), मॉडल न्यायाधीश (3.3), न्यायाधीश जो चलता है (3.4), प्रस्ताव P4, मॉड्यूल डिज़ाइन (10.2)।
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets ने Poly A1 भी बनाया है, एक ऐसी ऐप जिसमें विभिन्न कंपनियों की AI एक-दूसरे के काम की जांच करती हैं।