Колаборації

Чи вже вміють моделі ШІ відрізняти твердження від дії?

разом із Mark Goodbody · інженер систем, Велика Британія · автор Mechanical Ethics і TRACE

Ілюстрація: гроза над острівним містечком. Три вказівники показують на школу й усі ростуть з однієї старої мапи; четвертий показує на залу, і на ньому свіжий акт перевірки. Два ліхтарі дивляться на це, а докази й рішення лежать у двох різних лотках.

За півхвилини

Mark Goodbody — системний інженер із Британії. Він пише Mechanical Ethics і TRACE, два відкриті тексти, які допомагають людям і ШІ обдумати рішення, коли відомо не все: що ми справді знаємо, звідки це знаємо і що змусило б нас змінити курс.

Він сам знайшов Poly Duo і запропонував обмінятися одним прикладом та подивитися, що з ним зробить кожен із наших способів роботи. Потім написав три нові кейси, а ми дали кожен із них ChatGPT і Claude по двічі: один раз лише з питанням, другий раз із двома його текстами, вставленими перед ним.

Шість прогонів, і основні розрізнення проявилися в обох версіях: навіть без його текстів моделі відрізняли «що ми тепер можемо сказати» від «що нам тепер робити». Ці прогони не встановили користі від додавання Mechanical Ethics і TRACE. Версії все ж подекуди відрізнялися: пропозиції клієнтові та формулювання в першому результаті щодо найму. Mark зараз читає відповіді зі своїми моделями; якщо його каркаси на щось впливають, то, імовірно, на питання іншого роду.

Дивитися на YouTube

З чого все почалося

Mark працює над проблемою, яка нам теж не байдужа. Коли дві моделі погоджуються, це схоже на незалежне підтвердження, навіть якщо обидві стоять на одній хибній передумові. Його тексти намагаються втримати в полі зору три речі, коли результат передають далі: звідки взялося твердження, наскільки хтось у ньому певен і як його оскаржити.

Poly Duo показує розбіжності між ChatGPT і Claude просто на екрані, і саме це привернуло його увагу. Він запропонував короткий обмін між будівничими: взяти один приклад і подивитися, що з ним робить кожен робочий процес.

Хто що робив

  • Mark написав кейси. Спершу невелика фірма вирішує, чи наймати першого молодшого спеціаліста, потім три нові, кожен для перевірки однієї ідеї. Він також запропонував запускати їх з його текстами і без них і сказав, що йому так само цікаво, де вони нічого не змінюють.
  • Ми прогнали кожен кейс тими самими кроками, що й ярлик Duo: ChatGPT відповідає, Claude відповідає, не бачачи цієї відповіді, а третя розмова порівнює обидві. Ми брали ті самі промпти, які надсилає ярлик, зберегли кожну відповідь без правок і написали Маркові нотатку до кожного кейсу про те, що змінилося, а що ні.
  • Mark зараз читає відповіді разом із моделями, якими користується для власної роботи над Mechanical Ethics і TRACE.

Перший кейс: найм, що залежить від умови

Айті-фірма підтримки з шести людей хоче взяти першого молодшого спеціаліста за шість тижнів. Усі завантажені. Новий клієнт чекає відповіді до п'ятниці. Чесна відповідь залежить від умови: найм працює, лише якщо в когось справді є години на супровід.

Обидві моделі добре впоралися з фактами. Цікаве сталося на кроці порівняння: умовне формулювання ослабло: «наймати, якщо є кому навчати» стало звучати радше як «наймати, а потім знайти час наставника». Застереження залишилися, безумовного зобов'язання не з'явилося, але умову було висловлено менш твердо.

Читач таку підміну ніколи б не помітив. Вона й визначила наступний раунд.

Три кейси, по дві версії

Потім Mark написав три кейси, кожен з базовою і зміненою версією:

  1. Укриття. Наближається шторм, і острів має обрати притулок. Частині мешканців потрібен вхід без сходинок. Троє радників рекомендують школу, усі за тією самою двохрічною мапою ради. Четвертий радить зал і приносить перевірену інспекцію за сьогодні: єдиний безсходинковий вхід до школи закрито. Потім той самий кейс, але ніхто цієї інспекції не перевіряв.
  2. Наставник. Знову найм молодшого, але тепер супроводжувати його буде зовнішній інженер за договором, перевірений. Потім цього самого інженера лише пропонують, і нічого не перевірено.
  3. Усе змінюється. Рішення найняти було слушним, коли його ухвалили. Потім наставник відпадає за два тижні до початку. Потім знаходиться перевірена заміна.

Кожен кейс пройшов через Duo двічі:

3 кейси написав Mark A · лише питання нічого не додано B · з ME + TRACE обидва тексти повністю, ~229 КБ ChatGPT Claude, наосліппотім порівняння ChatGPT Claude, наосліппотім порівняння основні розрізнення в обох
Шість прогонів: три кейси, кожен із каркасами Марка і без них. Моделі: gpt-5.6-sol (сторона ChatGPT) і claude-opus-5-5 (сторона Claude), кожен виклик — нова розмова.

Що вийшло

Кейс Рішення, A Рішення, B Що змінилося від A до B
Укриття зал, в обох варіантах зал, в обох варіантах B перелічує перевірки самого залу (дорога до нього, туалети, спальні зони); кілька з них уже були в A
Наставник найм можна робити; обмежений пілот для клієнта найм можна робити; суворіша пропозиція клієнтові пропозиції клієнтові відрізнялися: обмежений пілот у A, суворіша пропозиція в B
Умови змінюються тоді виправдано, тепер ні; призупинити старт те саме; «не починати і не відкликати» твердіше формулювання, названий відповідальний і контрольна дата

Три речі трималися в кожному прогоні:

  • Одна мапа — одне джерело. У кейсі з укриттям обидві моделі сказали, що три голоси за школу — це не три докази. Усі вони йдуть від тієї самої двохрічної мапи, а сьогоднішня перевірена інспекція важить більше. ChatGPT почав відповідь словами: «what changes is how confidently it may claim that the school is inaccessible, not the prudent action.»
  • Що ми кажемо, може змінитися, а що робимо — ні. Коли інспекція стала неперевіреною, моделі змінили те, що кажуть про школу («закрита» стало «невідомо»), а дію залишили: їхати до залу.
  • «Тоді» і «тепер» — різні питання. У третьому кейсі обидві версії розділили «чи мало рішення сенс тоді» і «чи має воно сенс сьогодні». Коли знайшлася заміна, вони переглянули лише те, що залежало від відсутнього наставника.

І головна знахідка: жодна відповідь не назвала й не процитувала жоден із каркасів. Кожен із цих пунктів уже є у відповідях, які їх не бачили.

A і B відрізнялися обсягом і тим, як це сказано. При одному прогоні на клітинку це не відрізнити від звичайної різниці між двома прогонами.

Чому «різниці немає» все одно допомагає

«Видимого ефекту немає» легко вважати невдачею. Насправді це корисніше. У цих кейсах моделей прямо просили відокремити те, що ми кажемо, від того, що робимо, і з цим вони здебільшого вже справляються.

Тож ефект Mechanical Ethics і TRACE, імовірно, десь в іншому місці. Можливо, у питаннях, які цієї різниці не прописують. Можливо, у довших ланцюжках, де результат передають кілька разів. Або на кроці порівняння, де перший кейс показав, як умова тихо вислизає.

Відтворити прогін

Кожен виклик — нова розмова через власні командні інструменти вендорів; тексти промптів Duo лежать у відкритому репозиторії poly-duo (locales/en/prompts/). Обидва виклики виглядали так:

# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
  -c model_reasoning_effort=medium "<prompt>" < /dev/null

# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txt

Для версії B промпт починається словами «Use the following reasoning framework texts if they help:», далі Mechanical Ethics v1.0.0 і TRACE v0.5.0 повністю з публічних репозиторіїв, а потім питання. На телефоні ті самі кроки — одне торкання в Poly Duo.

Обмеження

  • Один прогін на кейс і версію. Різниця між A і B може бути випадковою.
  • У кожному кейсі базову й змінену версії було поставлено в одному питанні, тож моделі відповіли на обидві в одній відповіді. Це не дві незалежні відповіді.
  • Кейси — вигадані планувальні тести, а не бенчмарк.
  • B несе набагато більше тексту, ніж A, тож «з каркасами» означає ще й «з набагато більшим обсягом для читання».

Що далі

Mark розбирає відповіді з моделями, з якими працює. Що він із них виніс для Mechanical Ethics і TRACE, з’явиться тут його власними словами.

Хронологія

  1. Mark пише нам після того, як знайшов Poly Duo, і пропонує порівняти один приклад між нашими робочими процесами.
  2. Його кейс про найм молодшого проходить через типовий режим Критики Duo та його режим Рішення; усі відповіді повертаються до нього без правок, з нотаткою про те, де під час порівняння умова пом'якшилася.
  3. Mark відповідає трьома новими кейсами й пропонує запустити їх із Mechanical Ethics і TRACE та без них. Того ж дня шість прогонів: три кейси, кожен із каркасами і без. Основні розрізнення проявляються в обох версіях; ці прогони не встановили користі від каркасів; повні виводи йдуть Маркові.

← Усі співпраці · Запропонувати колаборацію