コラボレーション

AIモデルは、主張と行動をすでに切り分けているか?

共同: Mark Goodbody · システムエンジニア、英国 · Mechanical Ethics と TRACE の著者

イラスト:嵐の迫る島の町。学校を指す3本の道標は、どれも1枚の古い地図から生えている。4本目はホールを指し、今日の点検票が留めてある。2つのランタンが見守り、証拠と決定は別々の2つのトレイに置かれている。

30秒でわかる

Mark Goodbodyさんは、英国のシステムエンジニアです。Mechanical EthicsとTRACEという、二つのオープンなテキストを書いています。全部は分かっていない状況で決めるとき、人もAIも考えを整理できるようにするためのものです。実際に何が分かっているのか、それはどこから来たのか、何があれば方針を変えるのか、を扱います。

彼は自分でPoly Duoを見つけて、例を一つ交換して、お互いのやり方がそれをどう扱うか見てみようと言ってくれました。そのあと彼が新しいケースを三つ書き、私たちはそれぞれをChatGPTとClaudeに2回ずつ渡しました。1回は質問だけ、もう1回は彼の二つのテキストを質問の前に貼りつけて。

6回走らせて、主要な区別はどちらのバージョンにも現れました。テキストがなくても、モデルは「いま言えること」と「いまやるべきこと」を分けて考えていました。これらの実行では、Mechanical EthicsとTRACEを加える効果は確認できませんでした。ただしバージョン間で違った点もあります。クライアントへの提案と、最初の採用結果の言い回しです。Markさんは今、自分のモデルで答えを読んでいます。彼のフレームワークが効くとしたら、たぶん別の種類の問いでしょう。

YouTubeで見る

きっかけ

Markさんは、私たちも気にしている問題に取り組んでいます。二つのモデルが同意すると、独立した裏づけのように見えます。実際は、どちらも同じ間違った前提に立っていても、です。彼のテキストは、結果を人に渡すときに三つを見えるままにしようとします。主張がどこから来たか、どのくらい確かか、どうやって異議を唱えるか。

Poly Duoは、ChatGPTとClaudeの意見が分かれたところを画面にそのまま出します。彼の目に留まったのはそこでした。そして、つくり手同士の短い交換を提案してくれました。一つの例を取って、それぞれのワークフローがどう扱うか見てみる、というものです。

誰が何をしたか

  • Mark がケースを書きました。最初は、小さな会社が初めてのジュニアを雇うかどうか。次に、それぞれ一つの考え方を試すための新しいケースを三つ。彼のテキストをつけた場合とつけない場合で走らせることも提案してくれて、違いが出ないところにも同じくらい関心がある、と言っていました。
  • 私たちは、すべてのケースをDuoのショートカットと同じ手順に通しました。ChatGPTが答え、Claudeがその答えを見ずに答え、三つ目の会話で二つを比べます。プロンプトはショートカットが送るものそのままで、答えには一切手を入れず、ケースごとに、何が変わって何が変わらなかったかのメモをMarkさんに書きました。
  • Markさんは今、Mechanical EthicsとTRACEの自分の作業で使っているモデルと一緒に、答えを読んでいます。

最初のケース: 条件つきの採用

従業員6人のIT保守会社が、6週間後に初めてのジュニアを入れたいと考えています。全員が予定で埋まっています。新しいクライアントは金曜までの返事を求めています。正直な答えは、ある条件に左右されます。教育にあてる時間を実際に持っている人がいる場合にだけ、採用は成り立つのです。

両方のモデルが事実をうまく扱いました。面白かったのは比較のステップです。条件つきの言い方が弱まっていました。「教えられる人がいるなら採用」が、「採用して、それから教育係の時間を探す」に近い読み方になっていたのです。注意書きは残っていて、無条件の約束も現れませんでしたが、条件の述べ方が弱くなっていました。

読み手はこういうずれには気づきません。これが次のラウンドの形を決めました。

三つのケース、それぞれ二つのバージョン

そのあとMarkは三つのケースを書きました。どれも、基本バージョンと変更バージョンがあります。

  1. 避難所。 嵐が近づいていて、島は避難所を選ばなければなりません。住民の一部には、段差なしで入れることが必要です。三人のアドバイザーが小学校を推していますが、全員が2年前の同じ役所の地図を見ています。四人目はホールを推し、今日の確認済みの点検を持っています。小学校で段差のない入口は一つだけで、それが閉鎖されている、というものです。続いて、同じケースで、その点検を誰も確認していない場合。
  2. 指導役。 もう一度ジュニア採用ですが、今度は、契約済みで確認も取れた外部のエンジニアが指導します。続いて、同じエンジニアが候補に挙がっているだけで、何も確認されていない場合。
  3. 状況が変わる。 採用の判断は、下した時点では筋が通っていました。そこへ、開始の2週間前に指導役が抜けます。続いて、確認済みの代わりの人が見つかった場合。

各ケースを、Duoに2回ずつ通しました。

3ケース Markが作成 A · 質問のみ 何も加えない B · ME + TRACEつき 二つのテキストを全文、約229 KB ChatGPT Claude、見ずにそのあと比較 ChatGPT Claude、見ずにそのあと比較 主要な区別はどちらにも
6回の実行: 三つのケースを、Markのフレームワークありとなしで。モデルは gpt-5.6-sol(ChatGPT側)と claude-opus-5-5(Claude側)で、呼び出しごとに新しい会話です。

結果

ケース 判断、A 判断、B AからBで変わったこと
避難所 ホール、どちらの場合も ホール、どちらの場合も Bはホール自体の確認事項を列挙(そこへ行く経路、トイレ、寝る場所)。そのうち複数はAにもあった
指導役 採用は進めてよい。クライアントには上限つきの試行 採用は進めてよい。クライアントへの提案はより厳しく クライアントへの提案が違った。Aは上限つきの試行、Bはより厳しい提案
状況が変わる 当時は妥当、いまは妥当でない。開始は保留 同じ。「開始せず、撤回もしない」 より断定的な表現、担当者の指名、期日つきのチェックポイント

どの実行でも変わらなかったことが三つあります。

  • 一枚の地図は、一つの情報源。 避難所のケースで、両方のモデルが、小学校に票を入れた三人は三つの証拠ではないと言いました。みな2年前の同じ地図から来ていて、今日の確認済みの点検のほうが重い、という判断です。ChatGPTは答えの冒頭でこう言っています。「変わるのは、小学校が使えないとどれだけ自信をもって主張できるかであって、賢明な行動ではない」。
  • 言うことは変わっても、やることは変わらない。 点検が未確認になると、モデルは小学校について言うこと(「閉鎖」が「不明」に)は変えて、行動(ホールへ行く)はそのままにしました。
  • 「そのとき」と「いま」は別の問い。 三つ目のケースでは、どちらのバージョンでも、「当時の判断は筋が通っていたか」と「今日も筋が通るか」を分けていました。代わりの人が見つかると、抜けた指導役に頼っていた部分だけを見直しました。

そして一番大事な発見です。どちらのフレームワークも、どの答えにも名前が出ず、引用もされませんでした。 これらの点はどれも、フレームワークを見ていない答えにすでに出ています。

AとBの違いは、カバーする範囲と言い回しでした。各1回の実行では、普通の実行ごとのばらつきと見分けがつきません。

「違いなし」でも役に立つ理由

「目に見える効果なし」を失敗と読むのは簡単です。でも、それ以上に役に立ちます。このケースでは、言うことと、やることを分けるようモデルにはっきり求めていました。それなら、モデルはもうおおむねできています。

だとすると、Mechanical EthicsとTRACEの効果は、たぶん別のところにあります。違いを明示しない質問かもしれません。結果が何度も受け渡される長い連鎖かもしれません。あるいは比較のステップで、最初のケースでは、そこで条件が静かにずれていきました。

実行を再現する

各呼び出しは、ベンダー公式のコマンドラインツールを使った新しい会話です。Duoのプロンプトの文面は、公開リポジトリ poly-duo(locales/en/prompts/)にあります。2つの呼び出しは次のような形でした。

# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
  -c model_reasoning_effort=medium "<prompt>" < /dev/null

# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txt

バージョンBのプロンプトは、「Use the following reasoning framework texts if they help:」で始まり、続けて公開リポジトリのMechanical Ethics v1.0.0とTRACE v0.5.0の全文、最後に質問が来ます。スマートフォンなら、同じ手順が Poly Duo のワンタップです。

限界

  • ケースとバージョンごとに1回の実行。AとBの違いは偶然かもしれません。
  • 各ケースは、基本バージョンと変更バージョンを一つの質問に入れたので、モデルは一度の返答で両方に答えました。独立した二つの答えではありません。
  • ケースは、つくった計画のテストで、ベンチマークではありません。
  • Bは読む文章がずっと多いので、「フレームワークつき」は「読む量がずっと多い」ことでもあります。

これから

Markさんは、普段使っているモデルと一緒に答えを読んでいます。Mechanical EthicsとTRACEについて、そこから何を受け取ったかを、彼自身の言葉でここに載せます。

タイムライン

  1. MarkがPoly Duoを見つけて連絡をくれ、私たちのワークフローの間で一つの例を比べてみようと提案します。
  2. 彼のジュニア採用のケースを、Duoのデフォルトの批評モードと判断モードに通します。すべての答えを手を加えずに彼へ返し、比較の中で条件が和らげられた箇所のメモをつけます。
  3. Markが三つの新しいケースを返してくれ、Mechanical EthicsとTRACEをつけた場合とつけない場合で走らせることを提案します。同じ日に6回の実行。三つのケースを、フレームワークありとなしで。主要な区別はどちらのバージョンにも現れる。これらの実行ではフレームワークの効果は確認できていない。全出力はMarkに送ります。

← すべてのコラボレーション · コラボレーションを提案する