AIモデルは、主張と行動をすでに切り分けているか？
共同: Mark Goodbody · システムエンジニア、英国 · Mechanical Ethics と TRACE の著者
30秒でわかる
Mark Goodbody は英国のシステムエンジニアで、Mechanical EthicsとTRACEを書いています。不確実な状況での判断を、人もAIも筋道立てて考えられるようにするための、二つのオープンなテキストです。何が実際に分かっているのか、それはどこから来たのか、進路を変えるのに何が正当な理由になるのか、を扱います。彼は自分でPoly Duoを見つけ、お互いのやり方を比べてみようと提案してくれました。そこで彼のケースを、Duoのショートカットと同じ手順に通しました。ChatGPTが答え、Claudeがそれを見ずに答え、三つ目の会話で両者を比べます。最後の三つのケースは、それぞれ2回ずつ走らせました。1回は質問だけ、もう1回は彼の二つのフレームワークを丸ごと質問の前に貼りつけて。バージョンごとに1回ずつの実行では、どちらでも判断は同じで、モデルは「いま何を主張できるか」と「いま何をすべきか」を、とりわけ避難所のケースで、たいてい自分で切り分けていました。違いは、あるケースでクライアントへの提案がやや厳しくなったことなど、実行ごとの普通のばらつきと区別がつかない程度でした。結果はゼロ。でも、これらのフレームワークがどこで効くかのヒントとしては、役に立ちます。
きっかけ
Markの関心は、私たちが取り組んでいる問題と重なります。二つのモデルが同意すると、独立した裏づけのように見えることがあります。実際には、どちらも同じ誤った前提に立っていてもです。彼のテキストは、結果を他の人に渡すとき、主張の出どころ、不確かさ、それに異議を唱える方法が見え続けるようにしようとするものです。Poly Duoは、ChatGPTとClaudeの意見の食い違いを画面に残します。そこが彼の目に留まりました。
彼が提案したのは、つくり手同士の短いやり取りでした。一つの例を取り、それぞれのワークフローがそれをどう扱うかを見てみる、というものです。
誰が何をしたか
- Mark はケースを書きました。最初は、小さな会社が初めてのジュニアを雇うかどうか。続いて、一つの考え方を試すための新しいケースを三つ。さらに、彼のテキストをつけた場合とつけない場合の比較を提案し、違いが出ない場所にも同じくらい関心がある、と言ってくれました。
- 私たち は、すべてのケースを、ショートカットが送るのと同じプロンプトの文面で、手元のコンピューターからDuoの手順に通しました。答えは一切手を加えずに保存し、ケースごとに、何が変わって何が変わらなかったかのメモを書きました。
- Markはいま、Mechanical EthicsとTRACEの自分の作業で使っているモデルと一緒に、出力を読んでいます。
最初のケース: 条件つきの採用
従業員6人のIT保守会社が、6週間後に初めてのジュニアを入れたいと考えています。全員が予定で埋まっています。新しいクライアントは金曜までの返事を求めています。正直な答えは、ある条件に左右されます。教育にあてる時間を実際に持っている人がいる場合にだけ、採用は成り立つのです。
両方のモデルが事実をうまく扱いました。面白かったのは比較のステップです。「教えられる人がいるなら採用」が、「採用して、それから教育係の時間を確保する」に変わっていました。注意書きは文中に残っていましたが、条件がコミットの前から後ろへ移っていました。読み手が気づかないような静かな欠落で、これが次のラウンドの形を決めました。
三つのケース、それぞれ二つのバージョン
そのあとMarkは三つのケースを書きました。どれも、基本バージョンと変更バージョンがあります。
- 避難所。 島が、嵐の前に避難所を選ばなければなりません。住民の一部には段差のない出入りが必要です。三人のアドバイザーが小学校を推していますが、全員が2年前の同じ役所の地図に頼っています。四人目はホールを推し、今日の認証済みの点検を持っています。小学校で段差のない入口は一つだけで、それが閉鎖されている、というものです。続いて、同じケースで、その点検が未確認だった場合。
- 指導役。 もう一度ジュニア採用のケースですが、今度は指導を、契約済みで確認も取れた外部のエンジニアが担います。続いて、同じエンジニアが「そうかもしれない」程度で、何も確認されていない場合。
- 状況が変わる。 採用の判断は、下された時点では妥当でした。その後、開始の2週間前に指導役が抜けます。続いて、確認済みの代わりの人が見つかった場合。
各ケースを、Duoに2回ずつ通しました。
結果
| ケース | 判断、A | 判断、B | AからBで変わったこと |
|---|---|---|---|
| 避難所 | ホール、どちらの場合も | ホール、どちらの場合も | Bはホール自体の確認事項を追加（そこへ行く経路、トイレ、寝る場所） |
| 指導役 | 採用は進めてよい。クライアントには上限つきの試行 | 採用は進めてよい。クライアントへの提案はより厳しく | クライアントへの提案の文言と範囲 |
| 状況が変わる | 当時は妥当、いまは妥当でない。開始は保留 | 同じ。「開始せず、撤回もしない」 | より断定的な表現、担当者の指名、期日つきのチェックポイント |
どの実行でも変わらなかったことが三つあります。
- 一枚の地図は、一つの情報源。 避難所のケースで、両方のモデルが、小学校を推す三つの意見は三つの証拠ではないと述べました。すべて2年前の同じ地図から来ていて、今日の認証済みの点検のほうが重い、という判断です。ChatGPTは答えの冒頭でこう言っています。「変わるのは、小学校が使えないとどれだけ自信をもって主張できるかであって、賢明な行動ではない」。
- 主張は動き、行動は動かないことがある。 点検が未確認になると、モデルは小学校について言えること（「閉鎖」が「不明」に）を変え、行動（ホール）はそのままにしました。
- 「そのとき」と「いま」は別の問い。 三つ目のケースでは、どちらのバージョンでも、「分かっていたことに照らして当時の判断は妥当だったか」と「今日も妥当か」を分けていました。代わりの人が見つかるバリエーションでは、抜けた指導役に結びついた部分だけを見直していました。
そして一番大事な発見です。どちらのフレームワークも、どの答えにも名前が挙がらず、引用もされませんでした。 しかも、これらの点はどれも、フレームワークを見ていない答えにすでに現れています。AとBの違いは範囲と文言にあり、各条件1回の実行では、実行ごとの普通のばらつきと見分けがつきません。
ゼロの結果に価値がある理由
「目に見える効果なし」を失敗と読むのは簡単です。でも、それ以上に役に立ちます。これらのケースは、主張と行動を切り分けるようモデルにはっきり求めていました。そう求められれば、モデルはすでにその仕事をおおむねこなしています。だとすれば、Mechanical EthicsとTRACEの効果を探すべき場所は、おそらく別にあります。その区別を明示しない質問、結果が何度も受け渡される長い連鎖、あるいは比較のステップ。最初のケースでは、そこで条件が静かに失われていきました。
実行を再現する
各呼び出しは、ベンダー公式のコマンドラインツールを使った新しい会話です。Duoのプロンプトの文面は、公開リポジトリ poly-duo（locales/en/prompts/）にあります。2つの呼び出しは次のような形でした。
# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
-c model_reasoning_effort=medium "<prompt>" < /dev/null
# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txtバージョンBのプロンプトは、「Use the following reasoning framework texts if they help:」で始まり、続けて公開リポジトリのMechanical Ethics v1.0.0とTRACE v0.5.0の全文、最後に質問が来ます。スマートフォンなら、同じ手順が Poly Duo のワンタップです。
限界
- ケースとバージョンごとに1回の実行。AとBの違いは偶然かもしれません。
- 各ケースでは、基本バージョンと変更バージョンを一つの質問に入れたため、モデルは一度の返答で両方に答えました。独立した二つの観察ではありません。
- ケースは、作り上げた計画のプローブであって、ベンチマークではありません。
- BはAよりずっと大きなコンテキストを持つので、「フレームワークつき」は「ずっと多くのテキストつき」でもあります。
これから
Markは、普段使っているモデルと一緒に答えを読み込んでいます。Mechanical EthicsとTRACEについて、この実行から何が言えるかという彼自身の読みを、彼の言葉でここに載せます。
タイムライン
- MarkがPoly Duoを見つけて連絡をくれ、私たちのワークフローの間で一つの例を比べてみようと提案します。
- 彼のジュニア採用のケースを、Duoのデフォルトの批評モードと判断モードに通します。すべての答えを手を加えずに彼へ返し、比較の中で条件が和らげられた箇所のメモをつけます。
- Markが三つの新しいケースを返してくれ、Mechanical EthicsとTRACEをつけた場合とつけない場合で走らせることを提案します。同じ日に6回の実行。三つのケースを、フレームワークありとなしで。どちらでも判断は同じ。全出力はMarkに送ります。