Чи вже вміють моделі ШІ відрізняти твердження від дії?
разом із Mark Goodbody · інженер систем, Велика Британія · автор Mechanical Ethics і TRACE
За півхвилини
Mark Goodbody — британський інженер систем, автор Mechanical Ethics і TRACE, двох відкритих текстів, що допомагають людям і ШІ міркувати над рішеннями в умовах невизначеності: що насправді відомо, звідки це відомо і що виправдало б змінити курс. Він сам знайшов Poly Duo і запропонував порівняти нотатки. Ми прогнали його кейси тими самими кроками, що й ярлик Duo: ChatGPT відповідає, Claude відповідає, не бачачи цієї відповіді, а третя розмова порівнює обидві. Останні три кейси ми запускали по двічі: один раз лише з питанням, а другий раз із двома його каркасами, вставленими повністю перед питанням. У цьому єдиному прогоні на версію рішення вийшли однаковими в обох випадках, а моделі здебільшого й самі відрізняли «що ми тепер можемо стверджувати» від «що нам тепер робити», найчіткіше в кейсі з укриттям. Відмінності, як-от суворіша пропозиція клієнтові в одному з кейсів, були достатньо малі, щоб бути звичайним розкидом від прогону до прогону. Нульовий результат і корисна підказка, де ці каркаси можуть мати значення.
З чого все почалося
Інтерес Марка стосується проблеми, над якою працюємо й ми: коли дві моделі погоджуються, це може виглядати як незалежне підтвердження, навіть якщо обидві спираються на одну й ту саму хибну передумову. Його тексти намагаються зберегти видимими джерело твердження, його невизначеність і спосіб його оскаржити, коли результат передають далі. Poly Duo тримає розбіжності між ChatGPT і Claude на екрані, і саме це привернуло його увагу.
Він запропонував короткий обмін між будівничими: взяти один приклад і подивитися, що з ним робить кожен робочий процес.
Хто що робив
- Mark написав кейси: спершу невелика фірма вирішує, чи наймати першого молодшого спеціаліста, потім три нові, кожен для перевірки однієї ідеї. Він також запропонував порівняння з його текстами і без них і сказав, що йому так само цікаво, де вони нічого не змінюють.
- Ми прогнали кожен кейс кроками Duo на комп'ютері, з тими самими текстами промптів, які надсилає ярлик, зберегли кожну відповідь без правок і написали до кожного кейсу нотатку про те, що змінилося, а що ні.
- Mark зараз читає виводи разом із моделями, якими користується для власної роботи над Mechanical Ethics і TRACE.
Перший кейс: найм, що залежить від умови
Айті-фірма підтримки з шести людей хоче взяти першого молодшого спеціаліста за шість тижнів. Усі завантажені. Новий клієнт чекає відповіді до п'ятниці. Чесна відповідь залежить від умови: найм працює, лише якщо в когось справді є години на супровід.
Обидві моделі добре впоралися з фактами. Цікавий момент стався на кроці порівняння: «наймати, якщо є кому навчати» перетворилося на «наймати, а потім забезпечити час наставника». Застереження залишилися в тексті, але умова переїхала з-перед зобов'язання на після нього. Саме така тиха втрата, яку читач не помітить, і вона визначила наступний раунд.
Три кейси, по дві версії
Потім Mark написав три кейси, кожен з базовою і зміненою версією:
- Укриття. Острів має обрати притулок на випадок шторму; частині мешканців потрібен безбар'єрний доступ. Троє радників рекомендують школу, усі покладаються на ту саму двохрічну мапу ради. Четвертий радить зал і приносить завірену інспекцію за сьогодні: єдиний безбар'єрний вхід до школи закрито. Потім той самий кейс, але інспекція не підтверджена.
- Наставник. Знову кейс про найм молодшого, але супровід забезпечує зовнішній інженер за договором, перевірений. Потім той самий інженер лише запропонований, нічого не перевірено.
- Умови змінюються. Рішення про найм було виправданим, коли його ухвалили, а потім наставник відпадає за два тижні до початку. Потім знаходиться перевірена заміна.
Кожен кейс пройшов через Duo двічі:
Що вийшло
| Кейс | Рішення, A | Рішення, B | Що змінилося від A до B |
|---|---|---|---|
| Укриття | зал, в обох варіантах | зал, в обох варіантах | B додає перевірки самого залу (дорога до нього, туалети, спальні зони) |
| Наставник | найм можна робити; обмежений пілот для клієнта | найм можна робити; суворіша пропозиція клієнтові | формулювання й обсяг пропозиції клієнтові |
| Умови змінюються | тоді виправдано, тепер ні; призупинити старт | те саме; «не починати і не відкликати» | твердіше формулювання, названий відповідальний і контрольна дата |
Три речі трималися в кожному прогоні:
- Одна мапа — одне джерело. У кейсі з укриттям обидві моделі сказали, що три рекомендації школи — це не три докази: усі вони походять з тієї самої двохрічної мапи, а сьогоднішня завірена інспекція важить більше. ChatGPT почав відповідь словами: «what changes is how confidently it may claim that the school is inaccessible, not the prudent action.»
- Твердження рухається, дія може не рухатись. Коли інспекція стала непідтвердженою, моделі змінили те, що можна стверджувати про школу («закрита» стало «невідомо»), а дію (зал) залишили.
- «Тоді» і «тепер» — різні питання. У третьому кейсі обидві версії розділили «чи було рішення виправданим на основі відомого тоді» і «чи виправдане воно сьогодні», а у варіанті із заміною знову розглянули лише те, що було пов'язане з відсутнім наставником.
І головна знахідка: жоден із каркасів не був названий чи процитований у жодній відповіді, і кожен із цих пунктів уже є у відповідях, які каркасів не бачили. Різниця між A і B була в обсязі й формулюваннях, і при одному прогоні на клітинку її не відрізнити від звичайного розкиду від прогону до прогону.
Чому нульовий результат вартий того, щоб його мати
Було б легко вважати «видимого ефекту немає» невдачею. Насправді це корисніше. У цих кейсах моделей прямо просили відокремити твердження від дій, і на таке прохання моделі здебільшого вже й самі справляються. Тож ефект Mechanical Ethics і TRACE, імовірно, варто шукати деінде: у питаннях, що не прописують це розрізнення, у довших ланцюжках, де результат передають кілька разів, або на кроці порівняння, де перший кейс показав, як умова тихо губиться.
Відтворити прогін
Кожен виклик — нова розмова через власні командні інструменти вендорів; тексти промптів Duo лежать у відкритому репозиторії poly-duo (locales/en/prompts/). Обидва виклики виглядали так:
# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
-c model_reasoning_effort=medium "<prompt>" < /dev/null
# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txtДля версії B промпт починається словами «Use the following reasoning framework texts if they help:», далі Mechanical Ethics v1.0.0 і TRACE v0.5.0 повністю з публічних репозиторіїв, а потім питання. На телефоні ті самі кроки — одне торкання в Poly Duo.
Обмеження
- Один прогін на кейс і версію. Різниця між A і B може бути випадковою.
- У кожному кейсі базову й змінену версію поставлено в одному питанні, тож моделі відповіли на обидві в одній відповіді. Це не два незалежні спостереження.
- Кейси — вигадані планувальні проби, а не бенчмарк.
- B несе значно більший контекст, ніж A, тож «з каркасами» означає ще й «з набагато більшою кількістю тексту».
Що далі
Mark розбирає відповіді з моделями, з якими працює. Його прочитання того, що прогони показують для Mechanical Ethics і TRACE, з'явиться тут його словами.
Хронологія
- Mark пише нам після того, як знайшов Poly Duo, і пропонує порівняти один приклад між нашими робочими процесами.
- Його кейс про найм молодшого проходить через типовий режим Критики Duo та його режим Рішення; усі відповіді повертаються до нього без правок, з нотаткою про те, де під час порівняння умова пом'якшилася.
- Mark відповідає трьома новими кейсами й пропонує запустити їх із Mechanical Ethics і TRACE та без них. Того ж дня шість прогонів: три кейси, кожен із каркасами і без. Рішення однакові в обох випадках; повні виводи йдуть Маркові.