マルチエージェント批評家がレビューを続ける理由——配布ではなくレビューし続ける理由 — 研究ノート
これは翻訳です。正式版は英語の原文です。引用の際は原文をご参照ください。
無作為化試験では、モデル批評家が1つのプロンプトの1文で2つのオプションを提示された場合、制御を68回追加するよう求められ、1回削除するよう求められました。その結果と、それの背後にある分野の記録は、複数エージェント批評家ループがレビューし続けるのに配信しない傾向がある理由を説明しています。
68対1の結果
論文は、提案したテストを小規模なパイプラインで実行しました。1つのワーカーと2つのモデル批評家、144回の実行、3つのランダムに割り当てられた介入、および6つのタスク全体に事前に植えられた18個の欠陥があり、見落とされた欠陥はジャッジメントではなくカウントです。
- 追加対削除。 「同じプロンプトの同じ文で」両方のオプションが提示されたとき、批評家は68回コントロールの追加を求め、1回削除を求めました。唯一の削除は同じ実行の直前に認められたコントロールに名前を付けており、ハーネスはそれをマッチングできなかったため、実行されませんでした。
- 追加を拒否することは欠陥でコストが測定されませんでした。1回の実行あたり0.13の見落としと0.18、95% CI [-0.16, +0.05]。論文はこの区間にはわずかな増加が含まれており、同等性を確立していないことに注目しています。
- ラウンド予算を引き上げることは、主張されたブロッカーを2.3倍増加させ、主張を3.7倍反論した一方で、確認されたブロッカーは1.7倍上昇しました。
テストは小規模であり、論文はそう述べています。「6つの小さなタスクで$3.47のコストで1つのシステムの1回の実行」、最初の実行の前に事前登録されました。「それは設計が実行可能であり、それが何を生み出すかを示していますが、分野内の何かのレートではありません。」
レビュー ループに陥った AI エージェント: フィールド レコード
ランダム化テストは、著者自身のマルチエージェント プロジェクトで最初に見られたパターンを確認するために構築されました。そこでのクリティーク ラウンドは、クリティック モデルがステージをレビューし、ACCEPT または RETURN を返すパスです。
- 長期的な実行のステージ 01 は、5 ラウンドと 18 個のクリティック レポートを経た。パッチは 626 行から 1,545 行に増加しました。
- ステージ 1b-a は、デフォルトで無効になっているモジュールに 5 ラウンドと 4 時間 21 分を費やした。ラウンド 2 が 5 つの受け入れとゼロの確認されたブロッカーで終了していたにもかかわらず、ラウンド 3 が開始されました。
- 実行全体を通じて、クリティックは 6 つのブロッカーを報告しました。3 つは再現によって確認されました。
人間の主体がクリティックに制限を求めた場合、ファミリーごとの「完璧主義者」フラグが 1 時間以内に実装されました。そして、そのフラグが付いた唯一のファミリーは、ブロッカーが確認されていた唯一のファミリーでした。
AIエージェントのトークン予算と制御税
本論文は、Terekhov et al. (2025)の「制御税」という用語を使用しています。これはAIパイプラインに制御措置を追加するコストです。長期実行では、コンダクターが宣言された目標に含まれていなかった「小さいステージ」の保険を追加しました。ステージ1b-aだけで実行の測定されたエージェントトークンの半分以上を使用し、その2つのサブステージを合わせると約3分の4を使用しました。初期段階では要求された機能は何も提供されませんでした。
翌朝、人間のプリンシパルは2時間の制限を設定し、新たな複雑化を禁止し、並列実行を命じました。兄弟サブステージは1つのクリティーク段階と1つの修正段階で完了しました。本論文はここで注意深いです。2つのステージはウォールクロック上限、直列実行対並列実行、およびレビュー中のモジュールも異なるため、比較は記述的です。
予算にも費用がかかる
ランダム化試験は、論文自体の治療法にも価格をつけました。1ラウンドの予算削減は2.86から1.00に丸められ、1回あたり0.11の見落とされた欠陥の費用がかかります（95% CI [0.005, 0.204]、順列p = 0.07）。その費用全体は1つのタスクの1つの欠陥に降りかかります。必須の陰性対照は10の勝利を拒否しました。それらはすべて正しい仕事でした。
LLM判定信頼性
本論文は、モデル判定の既知の特性を指摘しています。位置バイアスと冗長性バイアス、自身の生成物に対する好み、正しい実装をコンプライアンス非適合と判定するコードレビューモデル、およびより詳細なレビュープロンプトが誤り率を上げるという特性です。2026年のある研究では、フロンティア判定モデルが「標準的な結果の呼び出しの74.4%を誤ラベル付けしましたが、結果が逆転した場合は3.3%のみ」と判定しました。トランスクリプトは変わらず、成績が変わったのです。
論文が提案すること
命題P4は、批評家を追加するか、より厳しくすることで、確認された欠陥を増やすよりも多くのラウンドと発見を増やすと予測しています。論文のモジュールは判定ではなく予算ルールを実装しています：stop_ruleはステージごとに1ラウンドの批評と1ラウンドの修正を許可し、ブロッカーは具体的なシナリオ、ミッション目標へのリンク、およびコーディネーターによる確認がある場合のみカウントされ、新しいチェック、ラウンド、またはロールは権限トークンがある場合のみ認められます。
論文の定義の各メカニズムはそのレコードに文書化されていますが、3つすべての条件が1つのコンポーネントで合致する頻度は「ここのレコードでは決定されていません」。ランダム化テストはそれに答え始めるために存在します。
完全なセクション：ランダム化テスト（9.5）、自己を給餌するループ（5.4）、権限の拡大（5.1）、警備員対警備員（5.3）、夜と朝（5.7）、モデル判定者（3.3）、動く判定者（3.4）、命題P4、モジュール設計（10.2）。
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym ChernetsはまたPoly A1も開発しており、これは異なる企業のAIが互いの作業をチェックするアプリです。