इनमें से कुछ की शुरुआत उस सवाल से हुई जो हमने किसी के पेपर या पोस्ट के नीचे पूछा था, और एक की शुरुआत किसी के भेजे संदेश से हुई। हर कहानी में अपने मॉडल, मेमोरी या तर्क-औज़ार बनाने वाला कोई व्यक्ति हमारे साथ, खुले में, एक सवाल पर काम करता है। हर कहानी का अपना विषय है और अपने मोड़ हैं।
आधे मिनट में
अब तक चार कहानियाँ हैं, हर एक AI के अलग कोने से:
Anagha Langhe ने जाँचा कि अपने मॉडल को bf16 की जगह FP8 में चलाने से उसके जवाब बदलते हैं या नहीं। 120 में से एक जवाब पलटा, और जब दोनों बिल्ड गलत थे तो 48 में से 42 बार उन्होंने एक ही गलत जवाब चुना।
Mark Goodbody ने फ़ैसले के मामले लिखे, यह देखने के लिए कि उनके तर्क-ढाँचे ChatGPT और Claude के फ़ैसले बदलते हैं या नहीं। हर संस्करण के एक-एक रन में नहीं बदले: फ़ैसले वही रहे, और मॉडलों ने बदले हुए दावे को बदले हुए कदम से ज़्यादातर खुद ही अलग रखा।
Mohan Bheemadolu FlyHash से एजेंट की मेमोरी को छोटे-छोटे कोड में समेटते हैं। हमने मिलकर एक परीक्षण तैयार किया है कि क्या छोटी मेमोरी होने पर एक-दूसरे को जाँचने वाले दो AI एक ही गलत जवाब पर ज़्यादा बार सहमत होते हैं।
top10ai.com की Milena Josimov ने Poly Duo के बारे में लिखा और हम उनकी गाइडों से जुड़ते हैं। अब हम ChatGPT और Claude से AI ऐप बिल्डरों की तुलना पर बात कर रहे हैं।
कहानियाँ
Anagha ने अपने मॉडल के bf16 बिल्ड और FP8 बिल्ड से वही 120 सवाल पूछे। सिर्फ़ एक जवाब पलटा। जब दोनों गलत थे, तो 48 में से 42 बार गलत जवाब भी एक ही था।
तीन सलाहकार स्कूल की सिफ़ारिश करते हैं, तीनों दो साल पुराने एक ही नक्शे पर टिके हैं। एक सलाहकार के पास आज का निरीक्षण है कि स्कूल का सीढ़ी-रहित प्रवेश-द्वार बंद है। Mark के ढाँचे के सामने होने पर भी और न होने पर भी, दोनों AI ने तीनों को एक ही स्रोत गिना।
जब एजेंट की मेमोरी में तथ्य छूट गया, तब भी GPT और Claude ने 33 बार एक ही जवाब दिया, और उनमें 15 गलत थे। Mohan का FlyHash मेमोरी को बहुत छोटा कर देता है। क्या वह इस साझा गलती को भी ज़्यादा आम बना देता है?
top10ai.com ने Poly Duo को जगह दी, हमने अपने पाठकों को उनकी गाइडों तक भेजा, और अब हम ChatGPT और Claude से AI ऐप बिल्डरों की तुलना कराने पर बात कर रहे हैं।