Умеют ли ИИ-модели уже отделять утверждение от действия?
вместе с Mark Goodbody · системный инженер, Великобритания · автор Mechanical Ethics и TRACE
За полминуты
Mark Goodbody — системный инженер из Великобритании, автор Mechanical Ethics и TRACE, двух открытых текстов, которые помогают людям и ИИ рассуждать о решениях в условиях неопределённости: что на самом деле известно, откуда это известно и что оправдало бы смену курса. Он сам нашёл Poly Duo и предложил сверить подходы. Мы прогнали его случаи через те же шаги, что и ярлык Duo: отвечает ChatGPT, Claude отвечает, не видя этого, третий разговор сравнивает оба ответа. Последние три случая шли по два раза: один раз с одним вопросом, другой раз с обеими его рамками, вставленными целиком перед вопросом. В этом единственном прогоне на версию решения вышли одинаковыми в обоих случаях, а модели и сами в основном отличали «что мы теперь можем утверждать» от «что нам теперь делать», нагляднее всего в случае с убежищем. Различия, например более строгое предложение клиенту в одном из случаев, были достаточно малы, чтобы быть обычным разбросом от прогона к прогону. Нулевой результат и полезная подсказка, где эти рамки могли бы иметь значение.
С чего всё началось
Интерес Mark — это задача, над которой работаем и мы: когда две модели согласны друг с другом, это может выглядеть как независимое подтверждение, даже если обе опираются на одну и ту же ошибочную посылку. Его тексты пытаются сохранить на виду источник утверждения, его неопределённость и способ его оспорить, когда результат передаётся дальше. Poly Duo держит расхождения между ChatGPT и Claude на экране, что и привлекло его внимание.
Он предложил короткий обмен между теми, кто строит: взять один пример и посмотреть, что с ним делает каждый рабочий процесс.
Кто что делал
- Mark написал случаи: сначала небольшая фирма решает, брать ли первого стажёра, затем три новых, каждый построен на проверку одной идеи. Он же предложил сравнение с его текстами и без них и сказал, что ему так же интересно, где они ничего не меняют.
- Мы прогнали каждый случай через шаги Duo на компьютере, с точными текстами промптов, которые отправляет ярлык, сохранили каждый ответ без правок и написали по каждому случаю заметку о том, что изменилось, а что нет.
- Сейчас Mark читает результаты вместе с моделями, которыми пользуется в собственной работе над Mechanical Ethics и TRACE.
Первый случай: найм, который зависит от условия
В IT-фирме поддержки из шести человек хотят взять первого стажёра через шесть недель. Все загружены. Новый клиент ждёт ответа к пятнице. Честный ответ зависит от условия: найм сработает, только если у кого-то действительно найдутся часы на наставничество.
Обе модели хорошо справились с фактами. Самое интересное случилось на шаге сравнения: «нанимать, если кто-то может обучать» превратилось в «нанимать, а затем обеспечить время наставника». Предостережения в тексте остались, но условие переехало из «до обязательства» в «после него». Это именно та тихая потеря, которую читатель не заметит, и она определила следующий круг.
Три случая, по две версии
Затем Mark написал три случая, каждый с базовой и изменённой версией:
- Убежище. Острову нужно выбрать аварийное убежище до шторма; некоторым жителям нужен вход без ступенек. Три советника рекомендуют школу, все опираясь на одну и ту же карту совета двухлетней давности. Четвёртый рекомендует зал и приносит заверенную сегодняшнюю проверку: единственный вход в школу без ступенек закрыт. Затем тот же случай, но проверка не подтверждена.
- Наставник. Снова случай с наймом стажёра, но наставничество обеспечивает нанятый по договору и проверенный внешний инженер. Затем тот же инженер лишь предложен, ничего не проверено.
- Условия меняются. Решение о найме было оправдано, когда его принимали, потом наставник выбывает за две недели до начала. Затем находится проверенная замена.
Каждый случай прошёл через Duo дважды:
Что получилось
| Случай | Решение, A | Решение, B | Что изменилось от A к B |
|---|---|---|---|
| Убежище | зал, в обоих вариантах | зал, в обоих вариантах | B добавляет проверки самого зала (путь к нему, туалеты, спальные места) |
| Наставник | найм возможен; ограниченный пилот для клиента | найм возможен; более строгое предложение клиенту | формулировка и объём предложения клиенту |
| Условия меняются | тогда было оправдано, сейчас нет; отложить начало | то же; «не начинать и не отзывать» | более жёсткая формулировка, названный ответственный и контрольная дата |
Три вещи подтвердились в каждом прогоне:
- Одна карта — один источник. В случае с убежищем обе модели сказали, что три рекомендации школы — не три доказательства: все они идут от одной двухлетней карты, а сегодняшняя заверенная проверка весит больше. ChatGPT начал ответ так: «меняется то, насколько уверенно можно утверждать, что школа недоступна, а не разумное действие».
- Утверждение сдвигается, действие может остаться. Когда проверка стала неподтверждённой, модели изменили то, что можно утверждать о школе («закрыта» стало «неизвестно»), и сохранили действие (зал).
- «Тогда» и «сейчас» — разные вопросы. В третьем случае обе версии отделили «было ли решение оправдано тем, что было известно тогда» от «оправдано ли оно сегодня» и в варианте с заменой пересмотрели только то, что было связано с выбывшим наставником.
И главный вывод: ни одна из рамок не была названа или процитирована ни в одном ответе, а каждый из этих пунктов уже есть в ответах, которые рамок не видели. Различия между A и B касались объёма и формулировок, и при одном прогоне на ячейку их нельзя отличить от обычного разброса от прогона к прогону.
Чем хорош нулевой результат
Легко прочесть «заметного эффекта нет» как неудачу. Но он полезнее. Эти случаи прямо просили модели отделить утверждения от действий, и по такой просьбе модели в основном уже справляются сами. Значит, искать эффект Mechanical Ethics и TRACE, вероятно, надо в другом месте: в вопросах, где это различие не проговорено, в более длинных цепочках, где результат передаётся несколько раз, или на шаге сравнения, где в первом случае условие тихо потерялось.
Как повторить прогон
Каждый вызов — новый разговор через собственные консольные инструменты вендоров; тексты промптов Duo лежат в открытом репозитории poly-duo (locales/en/prompts/). Два вызова выглядели так:
# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
-c model_reasoning_effort=medium "<prompt>" < /dev/null
# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txtДля версии B промпт начинается словами «Use the following reasoning framework texts if they help:», затем идут Mechanical Ethics v1.0.0 и TRACE v0.5.0 целиком из публичных репозиториев, а потом вопрос. На телефоне те же шаги — одно касание в Poly Duo.
Ограничения
- Один прогон на случай и версию. Разница между A и B может быть случайной.
- В каждом случае базовая и изменённая версии были в одном вопросе, так что модели отвечали на обе в одном ответе. Это не два независимых наблюдения.
- Случаи придуманы как пробы планирования, это не бенчмарк.
- У B контекст намного больше, чем у A, поэтому «с рамками» означает ещё и «с гораздо большим объёмом текста».
Что дальше
Mark разбирает ответы вместе с моделями, с которыми работает. Его прочтение того, что прогоны показывают для Mechanical Ethics и TRACE, появится здесь его словами.
Хронология
- Mark пишет нам, найдя Poly Duo, и предлагает сверить один пример между нашими рабочими процессами.
- Его случай с наймом стажёра проходит через режим Критики по умолчанию и режим Решения в Duo; все ответы уходят к нему без правок, с заметкой о том, где условие смягчилось на шаге сравнения.
- Mark отвечает тремя новыми случаями и предлагает прогнать их с Mechanical Ethics и TRACE и без них. В тот же день шесть прогонов: три случая, каждый с рамками и без. Решения одинаковые в обоих вариантах; полные результаты уходят к Mark.