क्या AI मॉडल पहले से दावे को कदम से अलग रखते हैं?

के साथ Mark Goodbody · सिस्टम इंजीनियर, UK · Mechanical Ethics और TRACE के लेखक

आधे मिनट में

Mark Goodbody UK के एक सिस्टम इंजीनियर हैं जो Mechanical Ethics और TRACE लिखते हैं, दो खुले पाठ जो लोगों और AI को अनिश्चितता में फ़ैसले तक पहुँचने में मदद करते हैं: असल में क्या ज्ञात है, वह कहाँ से आया, और रास्ता बदलने को क्या उचित ठहराएगा। उन्होंने Poly Duo खुद खोजा और राय-मशविरे का सुझाव दिया। फिर हमने उनके मामलों को वही कदम दिए जो Duo शॉर्टकट इस्तेमाल करता है: ChatGPT जवाब देता है, Claude उसे देखे बिना जवाब देता है, और तीसरी बातचीत दोनों की तुलना करती है। आख़िरी तीन मामलों में हर एक दो बार चला, एक बार सिर्फ़ सवाल के साथ और एक बार उनके दोनों ढाँचे पूरे के पूरे सवाल से पहले चिपकाकर। हर संस्करण के इस एक रन में फ़ैसले दोनों तरह से वही निकले, और मॉडलों ने "अब हम क्या दावा कर सकते हैं" को "अब हमें क्या करना चाहिए" से ज़्यादातर खुद ही अलग रखा, सबसे साफ़ आश्रय-स्थल वाले मामले में। फ़र्क, जैसे एक मामले में ग्राहक को ज़्यादा सख़्त प्रस्ताव, इतने छोटे थे कि वे रन-दर-रन की आम उतार-चढ़ाव जैसे थे। यह शून्य नतीजा है, और इस बात का काम का संकेत भी कि ये ढाँचे कहाँ मायने रख सकते हैं।

शुरुआत कहाँ से हुई

Mark की दिलचस्पी उस समस्या में है जिस पर हम भी काम करते हैं: दो मॉडलों का सहमत होना स्वतंत्र पुष्टि जैसा लग सकता है, भले ही दोनों एक ही गलत पूर्वधारणा पर टिके हों। उनके पाठ कोशिश करते हैं कि जब नतीजा किसी और को सौंपा जाए तो दावे का स्रोत, उसकी अनिश्चितता और उसे चुनौती देने का तरीका दिखता रहे। Poly Duo ChatGPT और Claude की असहमतियों को स्क्रीन पर रखता है, और यही उनकी नज़र में आया।

उन्होंने निर्माताओं के बीच एक छोटे आदान-प्रदान का प्रस्ताव रखा: एक उदाहरण लें और देखें कि हर वर्कफ़्लो उसके साथ क्या करता है।

किसने क्या किया

Mark ने मामले लिखे: पहले एक छोटी फर्म जो अपना पहला जूनियर रखने पर फ़ैसला कर रही है, फिर तीन नए मामले, हर एक एक विचार परखने के लिए बना। तुलना का सुझाव भी उन्हीं का था, उनके पाठों के साथ और बिना, और उन्होंने कहा कि वे इस बात में उतनी ही दिलचस्पी रखते हैं कि वे कहाँ कोई फ़र्क नहीं डालते।
हमने हर मामले को एक कंप्यूटर पर Duo के कदमों से चलाया, ठीक उन्हीं प्रॉम्प्ट पाठों के साथ जो शॉर्टकट भेजता है, हर जवाब बिना संपादन रखा, और हर मामले पर एक नोट लिखा कि क्या बदला और क्या नहीं।
Mark अब आउटपुट पढ़ रहे हैं, उन्हीं मॉडलों के साथ जिन्हें वे Mechanical Ethics और TRACE पर अपने काम के लिए इस्तेमाल करते हैं।

पहला मामला: एक शर्त पर टिकी नियुक्ति

छह लोगों की एक IT सपोर्ट फर्म छह हफ़्तों में अपना पहला जूनियर चाहती है। सब व्यस्त हैं। एक नया ग्राहक शुक्रवार तक जवाब चाहता है। ईमानदार जवाब एक शर्त पर टिका है: नियुक्ति तभी चलेगी जब किसी के पास सचमुच निगरानी के घंटे हों।

दोनों मॉडलों ने तथ्य अच्छी तरह सँभाले। दिलचस्प पल तुलना वाले कदम में आया: "रखें, अगर कोई सिखा सके" बदलकर "रखें, फिर प्रशिक्षक का समय पक्का करें" बन गया। सावधानियाँ पाठ में अब भी थीं, पर शर्त प्रतिबद्धता से पहले की जगह से उसके बाद चली गई थी। पाठक इसी तरह की चुपचाप हुई चूक पर ध्यान नहीं देता, और इसी ने अगले दौर का रूप तय किया।

तीन मामले, हर एक के दो संस्करण

Mark ने फिर तीन मामले लिखे, हर एक का एक बुनियादी और एक बदला हुआ संस्करण:

आश्रय-स्थल। एक द्वीप को तूफ़ान से पहले आपातकालीन आश्रय चुनना है; कुछ निवासियों को सीढ़ी-रहित पहुँच चाहिए। तीन सलाहकार स्कूल की सिफ़ारिश करते हैं, तीनों दो साल पुराने एक ही परिषद-नक्शे पर निर्भर हैं। चौथा हॉल की सिफ़ारिश करता है और आज का एक प्रमाणित निरीक्षण लाता है: स्कूल का इकलौता सीढ़ी-रहित प्रवेश-द्वार बंद है। फिर वही मामला, जहाँ वह निरीक्षण असत्यापित है।
निगरानीकर्ता। जूनियर की नियुक्ति वाला मामला फिर, पर निगरानी एक अनुबंधित, सत्यापित बाहरी इंजीनियर से आती है। फिर वही इंजीनियर बस सुझाया गया है, कुछ जाँचा नहीं गया।
हालात बदलते हैं। एक नियुक्ति का फ़ैसला जब हुआ तब उचित था, फिर शुरू होने से दो हफ़्ते पहले निगरानीकर्ता बाहर हो जाता है। फिर एक सत्यापित बदली मिल जाती है।

हर मामला Duo से दो बार गुज़रा:

छह रन: तीन मामले, हर एक Mark के ढाँचों के साथ और उनके बिना। मॉडल: gpt-5.6-sol (ChatGPT की तरफ़) और claude-opus-5-5 (Claude की तरफ़), हर कॉल एक नई बातचीत।

क्या निकला

मामला	फ़ैसला, A	फ़ैसला, B	A से B में क्या बदला
आश्रय-स्थल	हॉल, दोनों संस्करणों में	हॉल, दोनों संस्करणों में	B हॉल की खुद जाँच जोड़ता है (वहाँ का रास्ता, शौचालय, सोने की जगहें)
निगरानीकर्ता	नियुक्ति आगे बढ़ सकती है; ग्राहक के लिए सीमित पायलट	नियुक्ति आगे बढ़ सकती है; ग्राहक को ज़्यादा सख़्त प्रस्ताव	ग्राहक के प्रस्ताव के शब्द और दायरा
हालात बदलते हैं	तब उचित, अब नहीं; शुरुआत रोकें	वही; "शुरू न करें और वापस भी न लें"	ज़्यादा दृढ़ शब्द, एक नामित ज़िम्मेदार और तारीख़ वाला पड़ाव

हर रन में तीन बातें टिकी रहीं:

एक नक्शा एक ही स्रोत है। आश्रय-स्थल वाले मामले में दोनों मॉडलों ने कहा कि स्कूल की तीन सिफ़ारिशें तीन सबूत नहीं हैं: सब उसी दो साल पुराने परिषद-नक्शे से आती हैं, और आज का प्रमाणित निरीक्षण उस पर भारी है। ChatGPT ने अपना जवाब इन शब्दों से शुरू किया: "what changes is how confidently it may claim that the school is inaccessible, not the prudent action."
दावा हिलता है, कदम नहीं भी हिल सकता। जब निरीक्षण असत्यापित हुआ, तो मॉडलों ने स्कूल के बारे में जो दावा किया जा सकता है उसे बदला ("बंद" से "अज्ञात") और कदम (हॉल) वही रखा।
तब और अब अलग सवाल हैं। तीसरे मामले में दोनों संस्करणों ने "जो तब ज्ञात था उस पर फ़ैसला उचित था" को "क्या वह आज उचित है" से अलग किया, और बदली वाले संस्करण में सिर्फ़ वही दोबारा खोला जो गायब निगरानीकर्ता से जुड़ा था।

और मुख्य निष्कर्ष: किसी भी जवाब में कोई ढाँचा नाम लेकर या उद्धृत नहीं किया गया, और इनमें से हर बात उन जवाबों में भी पहले से मौजूद है जिन्होंने ढाँचे कभी देखे ही नहीं। A और B के बीच के फ़र्क दायरे और शब्दों में थे, और हर खाने में एक रन होने से उन्हें रन-दर-रन के आम उतार-चढ़ाव से अलग नहीं किया जा सकता।

शून्य नतीजा क्यों काम का है

"कोई दिखने वाला असर नहीं" को असफलता मान लेना आसान होगा। यह उससे ज़्यादा काम का है। इन मामलों में मॉडलों से साफ़ कहा गया था कि दावों को कदमों से अलग करें, और उस अनुरोध पर मॉडल यह काम काफ़ी हद तक पहले से कर लेते हैं। इसलिए Mechanical Ethics और TRACE के असर को शायद कहीं और खोजना होगा: ऐसे सवालों में जो भेद को साफ़ नहीं बताते, ऐसी लंबी कड़ियों में जहाँ नतीजा कई बार आगे सौंपा जाता है, या तुलना वाले कदम में, जहाँ पहले मामले ने दिखाया कि कोई शर्त चुपचाप खो जाती है।

एक रन दोहराइए

हर कॉल विक्रेताओं के अपने कमांड-लाइन औज़ारों से एक नई बातचीत है; Duo के प्रॉम्प्ट पाठ खुली poly-duo रिपॉज़िटरी में हैं (locales/en/prompts/)। दोनों कॉल ऐसी दिखती थीं:

# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
  -c model_reasoning_effort=medium "<prompt>" < /dev/null

# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txt

संस्करण B के लिए प्रॉम्प्ट "Use the following reasoning framework texts if they help:" से शुरू होता है, फिर सार्वजनिक रिपॉज़िटरी से Mechanical Ethics v1.0.0 और TRACE v0.5.0 पूरे, फिर सवाल। फ़ोन पर यही कदम Poly Duo में एक टैप के हैं।

सीमाएँ

हर मामले और संस्करण का एक रन। A और B का फ़र्क संयोग हो सकता है।
हर मामले ने बुनियादी और बदला हुआ संस्करण एक ही सवाल में रखा, इसलिए मॉडलों ने दोनों का जवाब एक ही उत्तर में दिया। यह दो स्वतंत्र अवलोकन नहीं हैं।
ये मामले गढ़े हुए योजना-परीक्षण हैं, कोई बेंचमार्क नहीं।
B में A से कहीं बड़ा संदर्भ है, इसलिए "ढाँचों के साथ" का मतलब "बहुत ज़्यादा पाठ के साथ" भी है।

आगे क्या

Mark उन मॉडलों के साथ जवाब देख रहे हैं जिनके साथ वे काम करते हैं। रन Mechanical Ethics और TRACE के बारे में क्या दिखाते हैं, इस पर उनका पाठ, उन्हीं के शब्दों में, यहाँ जोड़ा जाएगा।

समयरेखा

9 नवंबर 2026Poly Duo खोजने के बाद Mark हमें लिखते हैं, और हमारे वर्कफ़्लो के बीच एक उदाहरण की तुलना का सुझाव देते हैं।
11 नवंबर 2026उनका जूनियर-नियुक्ति वाला मामला Duo के डिफ़ॉल्ट Critique मोड और Decision मोड से चलता है; सारे जवाब बिना संपादन उन्हें लौटाए जाते हैं, साथ में एक नोट कि तुलना में कहाँ एक शर्त नरम पड़ गई।
12 नवंबर 2026Mark तीन नए मामलों के साथ जवाब देते हैं और Mechanical Ethics और TRACE के साथ और उनके बिना चलाने का सुझाव देते हैं। उसी दिन छह रन: तीन मामले, हर एक ढाँचों के साथ और बिना। दोनों तरह फ़ैसले वही; पूरे आउटपुट Mark को जाते हैं।

← सभी सहयोग · सहयोग का प्रस्ताव रखें