AI 模型已经能把"说法"和"行动"分开了吗?
与 Mark Goodbody · 系统工程师,英国 · Mechanical Ethics 和 TRACE 的作者

半分钟读完
Mark Goodbody 是英国的一位系统工程师。他写了 Mechanical Ethics 和 TRACE 两份开放文本,帮人和 AI 在信息不全的时候想清楚怎么决定:我们到底知道什么,它是从哪儿来的,什么情况下该改变方向。
他自己找到了 Poly Duo,提议我们互换一个例子,看看各自的做法会怎么处理它。后来他又写了三个新案例,我们把每个案例都交给 ChatGPT 和 Claude 跑了两遍:一遍只有问题,一遍在问题前面贴上他的两份文本。
一共六次运行,主要的区分在两个版本中都出现了:就算没有他的文本,模型也能把"我们现在能说什么"和"我们现在该做什么"分开。这些运行没有证明加入 Mechanical Ethics 和 TRACE 有好处。两个版本确实有不同之处:给客户的方案,以及第一次招聘结果的措辞。Mark 现在正和他自己的模型一起读这些答案;要是他的框架真有作用,多半是在别的类型的问题上。
缘起
Mark 琢磨的问题,我们也在意。两个模型意见一致,看起来像是独立印证,哪怕它们站的是同一个错误的前提。他的文本想做的,是在结果转给别人的时候,让三件事一直看得见:这个说法从哪儿来,有多大把握,以及该怎么质疑它。
Poly Duo 把 ChatGPT 和 Claude 的分歧直接摆在屏幕上,这正是吸引他的地方。他提议在做东西的人之间换一个例子:拿一个例子,看看各自的流程会怎么处理。
谁做了什么
- Mark 写了案例。先是一家小公司要不要招第一个初级员工,然后是三个新案例,每个专门检验一个想法。他还提议带不带他的文本各跑一遍,并说他同样在意这些文本在哪里没起作用。
- 我们把每个案例都走了一遍 Duo 快捷方式用的那几步:ChatGPT 作答,Claude 在没看到那个答案的情况下作答,第三个对话把两者比较一下。用的是快捷方式实际发送的提示词原文,所有答案原样保留,并给 Mark 写了每个案例的说明,讲哪些变了、哪些没变。
- Mark 现在正在读这些答案,同时用他自己研究 Mechanical Ethics 和 TRACE 时用的模型一起看。
第一个案例:取决于一个条件的招聘
一家六人的 IT 支持公司想在六周内招到第一位初级员工。所有人的日程都排满了。一位新客户要求周五前答复。诚实的答案取决于一个条件:只有真的有人抽得出时间带教,这次招聘才行得通。
两个模型对事实的处理都不错。有意思的地方出在比较这一步:有条件的措辞变弱了:"如果有人能带教,就招"读起来更像"先招,再去找带教者的时间"。提醒还在,也没有出现无条件的承诺,但条件的表述不那么坚定了。
读的人根本不会发现这种滑动。它也决定了下一轮怎么做。
三个案例,每个两个版本
Mark 随后写了三个案例,每个都有基础版本和变更版本:
- 避难所。 风暴快来了,一座岛要选一处紧急避难所。有些居民需要没有台阶的通道。三位顾问推荐学校,依据的都是两年前的同一张市政地图。第四位推荐礼堂,还带来今天经过核实的检查报告:学校唯一的无障碍入口关了。然后是同一个案例,但没人核实过这份检查报告。
- 带教者。 还是招初级员工那个案例,不过这次由一位签了合同、经过核实的外部工程师来带教。然后是同一位工程师只是被人建议了一下,什么都没核实。
- 情况变了。 招人的决定在做出时是说得通的。后来带教者在入职前两周退出了。再后来,找到了一位经过核实的替代者。
每个案例都通过 Duo 跑了两遍:
结果如何
| 案例 | 决定,A | 决定,B | 从 A 到 B 变了什么 |
|---|---|---|---|
| 避难所 | 礼堂,两个变体都是 | 礼堂,两个变体都是 | B 列出了对礼堂本身的检查(前往那里的路线、厕所、睡眠区域);其中有几项 A 里已经有了 |
| 带教者 | 可以招聘;对客户做有上限的试点 | 可以招聘;对客户的报价更严格 | 给客户的方案不同:A 是有上限的试点,B 是更严格的报价 |
| 条件变化 | 当时合理,现在不合理;暂停入职 | 相同;"不要入职,也不要撤回" | 措辞更坚决,指定了负责人和带日期的检查点 |
每次运行里都成立的三件事:
- 一张地图就是一个来源。 在避难所案例里,两个模型都说,三票推荐学校并不是三份证据。它们都来自同一张两年前的地图,而今天经过核实的检查报告比它更有分量。ChatGPT 的回答开头是:"what changes is how confidently it may claim that the school is inaccessible, not the prudent action."
- 说的话可以变,做的事不变。 检查报告变成未经核实之后,模型改了对学校的说法("已关闭"变成"未知"),但行动没改:去礼堂。
- 当时和现在是两个问题。 在第三个案例里,两个版本都把"当时这个决定合不合理"和"今天合不合理"分得很清楚。替代者出现之后,它们只重新考虑了依赖那位缺席带教者的部分。
最主要的发现是:没有一个答案点名或引用过这两个框架。这些要点,在从没见过框架的答案里就已经有了。
A 和 B 的差别在于覆盖的范围和说法。每个格子只跑了一次,这和两次运行之间本来就有的差别分不开。
为什么"没有差别"也有用
很容易把"没看到效果"当成失败,其实它更有用。这些案例直接要求模型把"说什么"和"做什么"分开,而在这一点上,模型大多已经自己做得到了。
所以 Mechanical Ethics 和 TRACE 的效果,多半在别处。也许在没把这种区别讲明白的问题里。也许在结果被转手好几次的更长的链条里。也许在比较这一步,第一个案例里,就是在那里有个条件悄悄滑掉了。
复现一次运行
每次调用都是通过各厂商自己的命令行工具发起的全新对话;Duo 的提示词文本在公开的 poly-duo 仓库中(locales/en/prompts/)。这两条调用大致如下:
# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
-c model_reasoning_effort=medium "<prompt>" < /dev/null
# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txt对于版本 B,提示词以"Use the following reasoning framework texts if they help:"开头,接着是来自公开仓库的 Mechanical Ethics v1.0.0 和 TRACE v0.5.0 全文,最后才是问题。在手机上,同样的步骤只需在 Poly Duo 里点一下。
局限
- 每个案例和版本只跑了一次。A 与 B 之间的差异可能只是偶然。
- 每个案例把基础版本和变更版本放在同一个问题里,所以模型一次回复就把两个都答了。这不是两次独立的回答。
- 这些案例是编出来的规划测试,不是基准测试。
- B 的文字比 A 多得多,所以"带框架"同时也是"要读的东西多了很多"。
接下来
Mark 正在和他合作的模型一起过这些答案。他从中读出了什么,对 Mechanical Ethics 和 TRACE 意味着什么,会用他自己的话放在这里。
时间线
- Mark 在发现 Poly Duo 之后给我们写信,提议在我们的工作流之间比较同一个例子。
- 他的招聘初级员工案例通过 Duo 默认的"批判"模式和"决策"模式各跑了一遍;所有答案原样发回给他,并附上一份说明,指出比较这一步中某个条件在哪里被软化了。
- Mark 回复了三个新案例,并建议带与不带 Mechanical Ethics 和 TRACE 各跑一遍。当天就跑了六次:三个案例,各自带与不带框架。主要的区分在两个版本中都出现;这些运行没有证明框架有好处;完整输出发给了 Mark。