Умеют ли ИИ-модели уже отделять утверждение от действия?
вместе с Mark Goodbody · системный инженер, Великобритания · автор Mechanical Ethics и TRACE

За полминуты
Mark Goodbody — системный инженер из Великобритании. Он пишет Mechanical Ethics и TRACE, два открытых текста, которые помогают людям и ИИ продумать решение, когда известно не всё: что мы на самом деле знаем, откуда это взялось и что заставило бы нас сменить курс.
Он сам нашёл Poly Duo и предложил обменяться одним примером и посмотреть, что с ним сделает каждый из наших способов работы. Потом он написал три новых случая, и мы дали каждый ChatGPT и Claude по два раза: один раз просто с вопросом, другой раз с обоими его текстами, вставленными перед вопросом.
Шесть прогонов, и основные разграничения проявились в обеих версиях: даже без его текстов модели отделяли «что мы теперь можем сказать» от «что нам теперь делать». Эти прогоны не установили пользы от добавления Mechanical Ethics и TRACE. Версии всё же различались в отдельных местах: предложения клиенту и формулировка в первом результате по найму. Сейчас Mark читает ответы со своими моделями. Если его рамки что-то меняют, то, скорее всего, на вопросах другого рода.
С чего всё началось
Mark работает над задачей, которая важна и нам. Когда две модели согласны, это выглядит как независимое подтверждение, даже если обе стоят на одной и той же неверной посылке. Его тексты пытаются удержать на виду три вещи, когда результат передают дальше: откуда взялось утверждение, насколько в нём уверены и как его оспорить.
Poly Duo показывает расхождения между ChatGPT и Claude прямо на экране, и это его зацепило. Он предложил короткий обмен между теми, кто строит: взять один пример и посмотреть, что с ним делает каждый наш процесс.
Кто что делал
- Mark написал случаи. Сначала небольшая фирма решает, брать ли первого стажёра, потом три новых, и каждый проверяет одну идею. Он же предложил гонять их с его текстами и без и сказал, что ему так же интересно, где они ничего не меняют.
- Мы прогнали каждый случай через те же шаги, что и ярлык Duo: отвечает ChatGPT, Claude отвечает, не видя этого ответа, а третий разговор сравнивает оба. Брали точные промпты, которые отправляет ярлык, ответы сохраняли без правок, а по каждому случаю писали Mark заметку о том, что изменилось, а что нет.
- Сейчас Mark читает ответы вместе с моделями, которыми пользуется в собственной работе над Mechanical Ethics и TRACE.
Первый случай: найм, который зависит от условия
В IT-фирме поддержки из шести человек хотят взять первого стажёра через шесть недель. Все загружены. Новый клиент ждёт ответа к пятнице. Честный ответ зависит от условия: найм сработает, только если у кого-то действительно найдутся часы на наставничество.
Обе модели хорошо справились с фактами. Самое интересное случилось на шаге сравнения: условная формулировка ослабла: «нанимать, если кто-то может обучать» стало читаться скорее как «нанимать, а потом найти время наставника». Предостережения остались, безусловного обязательства не появилось, но условие было высказано менее твёрдо.
Читатель такой сдвиг и не заметит. Он определил следующий круг.
Три случая, по две версии
Затем Mark написал три случая, каждый с базовой и изменённой версией:
- Убежище. Надвигается шторм, и острову нужно выбрать аварийное убежище. Некоторым жителям нужен вход без ступенек. Три советника рекомендуют школу, и все смотрят на одну и ту же карту совета двухлетней давности. Четвёртый рекомендует зал и приносит проверенный сегодняшний осмотр: единственный вход в школу без ступенек закрыт. Потом тот же случай, но осмотр никто не подтвердил.
- Наставник. Снова наём стажёра, но теперь наставлять будет внешний инженер, по договору и проверенный. Потом тот же инженер только предложен, и ничего не проверено.
- Всё меняется. Решение о найме было разумным, когда его принимали. Потом наставник выбывает за две недели до начала. Потом находится проверенная замена.
Каждый случай прошёл через Duo дважды:
Что получилось
| Случай | Решение, A | Решение, B | Что изменилось от A к B |
|---|---|---|---|
| Убежище | зал, в обоих вариантах | зал, в обоих вариантах | B перечисляет проверки самого зала (путь к нему, туалеты, спальные места); несколько из них уже были в A |
| Наставник | найм возможен; ограниченный пилот для клиента | найм возможен; более строгое предложение клиенту | предложения клиенту различались: ограниченный пилот в A, более строгое предложение в B |
| Условия меняются | тогда было оправдано, сейчас нет; отложить начало | то же; «не начинать и не отзывать» | более жёсткая формулировка, названный ответственный и контрольная дата |
Три вещи подтвердились в каждом прогоне:
- Одна карта — один источник. В случае с убежищем обе модели сказали, что три голоса за школу — не три доказательства. Все они идут от одной двухлетней карты, а сегодняшний проверенный осмотр весит больше. ChatGPT начал ответ так: «меняется то, насколько уверенно можно утверждать, что школа недоступна, а не разумное действие».
- Что мы говорим, может меняться, а что делаем — нет. Когда осмотр стал неподтверждённым, модели поменяли то, что говорят о школе («закрыта» стало «неизвестно»), но действие оставили: идти в зал.
- «Тогда» и «сейчас» — разные вопросы. В третьем случае обе версии развели «имело ли решение смысл тогда» и «имеет ли оно смысл сегодня». Когда нашлась замена, они пересмотрели только то, что зависело от выбывшего наставника.
И главный вывод: ни в одном ответе ни одна из рамок не была названа или процитирована. Каждый из этих пунктов уже есть в ответах, которые рамок не видели.
A и B отличались тем, сколько охватили и как сформулировали. При одном прогоне на ячейку это не отличить от обычной разницы между двумя прогонами.
Чем хорош «нет разницы»
«Заметного эффекта нет» легко принять за неудачу. Но это полезнее, чем кажется. Эти случаи прямо просили модели развести то, что мы говорим, и то, что делаем, и с этим модели в основном уже справляются.
Так что эффект Mechanical Ethics и TRACE, скорее всего, где-то в другом месте. Может, в вопросах, где разницу не называют прямо. Может, в длинных цепочках, где результат передают несколько раз. Или на шаге сравнения, где в первом случае условие тихо потерялось.
Как повторить прогон
Каждый вызов — новый разговор через собственные консольные инструменты вендоров; тексты промптов Duo лежат в открытом репозитории poly-duo (locales/en/prompts/). Два вызова выглядели так:
# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
-c model_reasoning_effort=medium "<prompt>" < /dev/null
# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txtДля версии B промпт начинается словами «Use the following reasoning framework texts if they help:», затем идут Mechanical Ethics v1.0.0 и TRACE v0.5.0 целиком из публичных репозиториев, а потом вопрос. На телефоне те же шаги — одно касание в Poly Duo.
Ограничения
- Один прогон на случай и версию. Разница между A и B может быть случайной.
- В каждом случае базовая и изменённая версии были в одном вопросе, так что модели отвечали на обе в одном ответе. Это не два независимых ответа.
- Случаи выдуманные, это пробы планирования, а не бенчмарк.
- У B текста намного больше, чем у A, так что «с рамками» ещё и «с гораздо большим объёмом чтения».
Что дальше
Mark разбирает ответы вместе с моделями, с которыми работает. Что он вынесет из них для Mechanical Ethics и TRACE, появится здесь, его собственными словами.
Хронология
- Mark пишет нам, найдя Poly Duo, и предлагает сверить один пример между нашими рабочими процессами.
- Его случай с наймом стажёра проходит через режим Критики по умолчанию и режим Решения в Duo; все ответы уходят к нему без правок, с заметкой о том, где условие смягчилось на шаге сравнения.
- Mark отвечает тремя новыми случаями и предлагает прогнать их с Mechanical Ethics и TRACE и без них. В тот же день шесть прогонов: три случая, каждый с рамками и без. Основные разграничения проявляются в обеих версиях; эти прогоны не установили пользы от рамок; полные результаты уходят к Mark.