क्या AI मॉडल पहले से दावे को कदम से अलग रखते हैं?
के साथ Mark Goodbody · सिस्टम इंजीनियर, UK · Mechanical Ethics और TRACE के लेखक

आधे मिनट में
Mark Goodbody UK में सिस्टम इंजीनियर हैं। वे Mechanical Ethics और TRACE लिखते हैं, दो खुले पाठ जो लोगों और AI को तब फ़ैसला लेने में मदद करते हैं जब सब कुछ पता न हो: हम असल में क्या जानते हैं, वह कहाँ से आया, और किस बात पर हमें रास्ता बदलना चाहिए।
उन्होंने Poly Duo खुद खोजा और सुझाव दिया कि एक उदाहरण आपस में बदलकर देखें कि हमारे-हमारे काम करने के तरीके उसके साथ क्या करते हैं। फिर उन्होंने तीन नए मामले लिखे, और हमने हर मामला ChatGPT और Claude को दो-दो बार दिया: एक बार सिर्फ़ सवाल के साथ, एक बार उनके दोनों पाठ सवाल के आगे चिपकाकर।
छह रन, और मुख्य भेद दोनों संस्करणों में दिखे: उनके पाठों के बिना भी मॉडलों ने "अब हम क्या कह सकते हैं" को "अब हमें क्या करना चाहिए" से अलग रखा। इन रनों से Mechanical Ethics और TRACE जोड़ने का कोई फ़ायदा साबित नहीं हुआ। संस्करणों में कुछ जगह फ़र्क ज़रूर था: ग्राहक को दिए प्रस्ताव, और भर्ती के पहले नतीजे के शब्द। Mark अब जवाबों को अपने मॉडलों के साथ पढ़ रहे हैं; अगर उनके ढाँचे कोई फ़र्क डालते हैं, तो शायद दूसरी तरह के सवालों पर।
शुरुआत कहाँ से हुई
Mark जिस समस्या पर काम करते हैं, वह हमारे लिए भी मायने रखती है। जब दो मॉडल सहमत होते हैं, तो वह स्वतंत्र पुष्टि जैसा लगता है, भले ही दोनों एक ही गलत मान्यता पर खड़े हों। उनके पाठ कोशिश करते हैं कि जब कोई नतीजा आगे सौंपा जाए तो तीन चीज़ें नज़र में रहें: दावा कहाँ से आया, उसके बारे में कोई कितना पक्का है, और उसे चुनौती कैसे दी जाए।
Poly Duo ChatGPT और Claude की असहमति ठीक स्क्रीन पर दिखाता है, और यही उनकी नज़र में आया। उन्होंने बिल्डरों के बीच एक छोटे आदान-प्रदान का सुझाव दिया: एक उदाहरण लें और देखें कि हर वर्कफ़्लो उसके साथ क्या करता है।
किसने क्या किया
- Mark ने मामले लिखे। पहले एक छोटी फर्म जो अपना पहला जूनियर रखने पर फ़ैसला कर रही है, फिर तीन नए, हर एक किसी एक विचार को परखने के लिए। उन्होंने ही सुझाया कि इन्हें उनके पाठों के साथ और बिना चलाया जाए, और कहा कि जहाँ वे कोई फ़र्क नहीं डालते, वह उन्हें उतना ही दिलचस्प लगता है।
- हमने हर मामले को वही कदम दिए जो Duo शॉर्टकट इस्तेमाल करता है: ChatGPT जवाब देता है, Claude वह जवाब देखे बिना जवाब देता है, और तीसरी बातचीत दोनों की तुलना करती है। हमने ठीक वही प्रॉम्प्ट इस्तेमाल किए जो शॉर्टकट भेजता है, हर जवाब बिना संपादन रखा, और Mark के लिए हर मामले पर एक नोट लिखा कि क्या बदला और क्या नहीं।
- Mark अब जवाब पढ़ रहे हैं, उन्हीं मॉडलों के साथ जिन्हें वे Mechanical Ethics और TRACE पर अपने काम के लिए इस्तेमाल करते हैं।
पहला मामला: एक शर्त पर टिकी नियुक्ति
छह लोगों की एक IT सपोर्ट फर्म छह हफ़्तों में अपना पहला जूनियर चाहती है। सब व्यस्त हैं। एक नया ग्राहक शुक्रवार तक जवाब चाहता है। ईमानदार जवाब एक शर्त पर टिका है: नियुक्ति तभी चलेगी जब किसी के पास सचमुच निगरानी के घंटे हों।
दोनों मॉडलों ने तथ्य अच्छी तरह सँभाले। दिलचस्प बात तुलना वाले कदम में आई: शर्त वाला शब्दांकन कमज़ोर पड़ गया: "रखें, अगर कोई सिखा सके" अब ज़्यादा "रखें, फिर सिखाने वाले का समय निकालें" जैसा पढ़ा गया। चेतावनियाँ अब भी थीं, और कोई बिना-शर्त वचन नहीं आया, पर शर्त कम दृढ़ता से कही गई थी।
ऐसी चूक पाठक को कभी नहीं दिखती। इसी ने अगले दौर का रूप तय किया।
तीन मामले, हर एक के दो संस्करण
Mark ने फिर तीन मामले लिखे, हर एक का एक बुनियादी और एक बदला हुआ संस्करण:
- आश्रय-स्थल। तूफ़ान आने वाला है और एक द्वीप को आपातकालीन आश्रय चुनना है। कुछ निवासियों को बिना सीढ़ियों के अंदर जाने का रास्ता चाहिए। तीन सलाहकार स्कूल की सिफ़ारिश करते हैं, तीनों दो साल पुराने एक ही परिषद-नक्शे के हिसाब से। चौथा हॉल की सिफ़ारिश करता है और आज का एक सत्यापित निरीक्षण लाता है: स्कूल का इकलौता सीढ़ी-रहित प्रवेश-द्वार बंद है। फिर वही मामला, पर इस बार उस निरीक्षण को किसी ने सत्यापित नहीं किया।
- निगरानीकर्ता। फिर जूनियर की नियुक्ति, पर अब निगरानी एक बाहरी इंजीनियर करेगा, जो अनुबंधित है और जिसे जाँचा जा चुका है। फिर वही इंजीनियर बस सुझाया गया है, और कुछ जाँचा नहीं गया।
- हालात बदलते हैं। नियुक्ति का फ़ैसला जब हुआ तब ठीक था। फिर शुरू होने से दो हफ़्ते पहले निगरानीकर्ता बाहर हो जाता है। फिर एक जाँची हुई बदली मिल जाती है।
हर मामला Duo से दो बार गुज़रा:
क्या निकला
| मामला | फ़ैसला, A | फ़ैसला, B | A से B में क्या बदला |
|---|---|---|---|
| आश्रय-स्थल | हॉल, दोनों संस्करणों में | हॉल, दोनों संस्करणों में | B हॉल की खुद की जाँचें गिनाता है (वहाँ का रास्ता, शौचालय, सोने की जगहें); इनमें से कई A में पहले से थीं |
| निगरानीकर्ता | नियुक्ति आगे बढ़ सकती है; ग्राहक के लिए सीमित पायलट | नियुक्ति आगे बढ़ सकती है; ग्राहक को ज़्यादा सख़्त प्रस्ताव | ग्राहक को दिए प्रस्ताव अलग थे: A में सीमित पायलट, B में ज़्यादा सख़्त प्रस्ताव |
| हालात बदलते हैं | तब उचित, अब नहीं; शुरुआत रोकें | वही; "शुरू न करें और वापस भी न लें" | ज़्यादा दृढ़ शब्द, एक नामित ज़िम्मेदार और तारीख़ वाला पड़ाव |
हर रन में तीन बातें टिकी रहीं:
- एक नक्शा एक ही स्रोत है। आश्रय-स्थल वाले मामले में दोनों मॉडलों ने कहा कि स्कूल के पक्ष में तीन वोट तीन सबूत नहीं हैं। सब उसी दो साल पुराने नक्शे से आते हैं, और आज का सत्यापित निरीक्षण उस पर भारी है। ChatGPT ने अपना जवाब इन शब्दों से शुरू किया: "what changes is how confidently it may claim that the school is inaccessible, not the prudent action."
- जो हम कहते हैं वह बदल सकता है, जो हम करते हैं वह वही रहे। जब निरीक्षण असत्यापित हो गया, तो मॉडलों ने स्कूल के बारे में अपनी बात बदली ("बंद" से "अज्ञात"), पर कदम वही रखा: हॉल चलो।
- तब और अब अलग सवाल हैं। तीसरे मामले में दोनों संस्करणों ने "उस वक़्त फ़ैसला ठीक था या नहीं" को "आज ठीक है या नहीं" से अलग रखा। बदली मिलने पर उन्होंने सिर्फ़ वही दोबारा खोला जो गायब निगरानीकर्ता पर टिका था।
और मुख्य निष्कर्ष: किसी भी जवाब ने कोई ढाँचा नाम लेकर या उद्धृत नहीं किया। ये सारी बातें उन जवाबों में भी पहले से दिखती हैं जिन्होंने ढाँचे कभी देखे ही नहीं।
A और B में फ़र्क इतना था कि कितना कुछ कवर हुआ और बात कैसे कही गई। हर खाने में एक ही रन होने से यह दो रन के आम फ़र्क से अलग नहीं किया जा सकता।
"कोई फ़र्क नहीं" फिर भी काम का क्यों है
"कोई दिखने वाला असर नहीं" को नाकामी मान लेना आसान है। यह उससे ज़्यादा काम का है। इन मामलों में मॉडलों से साफ़ कहा गया था कि जो हम कहते हैं और जो हम करते हैं, उन्हें अलग करें, और इस पर मॉडल ज़्यादातर पहले से सँभाल लेते हैं।
तो Mechanical Ethics और TRACE का असर शायद कहीं और है। शायद ऐसे सवालों में जो यह फ़र्क खुलकर नहीं बताते। शायद लंबी कड़ियों में, जहाँ नतीजा कई बार आगे सौंपा जाता है। या तुलना वाले कदम में, जहाँ पहले मामले में एक शर्त चुपचाप खिसक गई थी।
एक रन दोहराइए
हर कॉल विक्रेताओं के अपने कमांड-लाइन औज़ारों से एक नई बातचीत है; Duo के प्रॉम्प्ट पाठ खुली poly-duo रिपॉज़िटरी में हैं (locales/en/prompts/)। दोनों कॉल ऐसी दिखती थीं:
# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
-c model_reasoning_effort=medium "<prompt>" < /dev/null
# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txtसंस्करण B के लिए प्रॉम्प्ट "Use the following reasoning framework texts if they help:" से शुरू होता है, फिर सार्वजनिक रिपॉज़िटरी से Mechanical Ethics v1.0.0 और TRACE v0.5.0 पूरे, फिर सवाल। फ़ोन पर यही कदम Poly Duo में एक टैप के हैं।
सीमाएँ
- हर मामले और संस्करण का एक रन। A और B का फ़र्क संयोग हो सकता है।
- हर मामले ने बुनियादी और बदला हुआ संस्करण एक ही सवाल में रखा, इसलिए मॉडलों ने दोनों का जवाब एक ही उत्तर में दिया। यह दो स्वतंत्र जवाब नहीं हैं।
- ये मामले गढ़े हुए योजना-टेस्ट हैं, कोई बेंचमार्क नहीं।
- B में A से कहीं ज़्यादा पाठ है, इसलिए "ढाँचों के साथ" का मतलब "पढ़ने को बहुत ज़्यादा के साथ" भी है।
आगे क्या
Mark उन मॉडलों के साथ जवाब देख रहे हैं जिनके साथ वे काम करते हैं। Mechanical Ethics और TRACE के लिए वे इनसे क्या निकालते हैं, वह यहाँ उन्हीं के शब्दों में जोड़ा जाएगा।
समयरेखा
- Poly Duo खोजने के बाद Mark हमें लिखते हैं, और हमारे वर्कफ़्लो के बीच एक उदाहरण की तुलना का सुझाव देते हैं।
- उनका जूनियर-नियुक्ति वाला मामला Duo के डिफ़ॉल्ट Critique मोड और Decision मोड से चलता है; सारे जवाब बिना संपादन उन्हें लौटाए जाते हैं, साथ में एक नोट कि तुलना में कहाँ एक शर्त नरम पड़ गई।
- Mark तीन नए मामलों के साथ जवाब देते हैं और Mechanical Ethics और TRACE के साथ और उनके बिना चलाने का सुझाव देते हैं। उसी दिन छह रन: तीन मामले, हर एक ढाँचों के साथ और बिना। मुख्य भेद दोनों संस्करणों में दिखते हैं; इन रनों से ढाँचों का कोई फ़ायदा साबित नहीं होता; पूरे आउटपुट Mark को जाते हैं।