ガードを追加するガード：マルチエージェントAIにおける自動化された監視

• 正式版：SSRN 7496678 · DOI 10.2139/ssrn.7496678
• アーカイブ版：準備中
• Markdown および PDF の全文：GitHub
• 読みやすい HTML：https://polyhelper.ai/research/guards-that-add-guards/
• 関連論文、ケースカタログ、公開ケースおよび理論を含む完全な研究：AI-Watchbird (Sheckley)：自動監視がその独自の権限を拡大し、守るべきものに害をもたらす場合、SSRN 7473658 · DOI 10.2139/ssrn.7473658、10.5281/zenodo.22849138 にアーカイブ

同じテキストが 4 つのサーフェスに置かれているため、それらの 1 つがサービスを提供できない場合に到達できます。SSRN は正式版を保持しています。そちらを引用してください。

Abstract

2026年に私が構築・運用したマルチエージェントAIシステムの172件の日付付きログエントリにおいて、自動監視は3つの方法で失敗し、各々異なる時間に異なるコンポーネントで見られました。一部の批評者とゲートは、与えられたミッションを超えて危害の概念を拡張しました。一部は自らが保護することを目的としていた作業を妨害または破壊しました：1つのゲートは2週間にわたってあらゆる候補を拒否しましたが、少なくとも12の計画文書が症状を診断したのに、誰もそのゲートを名指しできませんでした。そして一部の失敗した監視機構には、同じ種類の別の監視機構で対応され、ループ内から何も廃止されませんでした。1つのセンテンスが両方の選択肢を提供したプロンプトを使用した144回のランダム化テスト（費用は$3.47）において、批評者は68回コントロールの追加を求め、1回削除を求めました。これはプロンプト形式の頻度であり、フィールドレートではありません。同じテストで、ラウンド予算を施行すると批評者が異議を唱えた欠陥が減少し、実行あたり0.11の見落とし欠陥という費用がかかりました（p = 0.07、全て1つの欠陥に関するもの）；新しいコントロールについて外部承認を要求することは、欠陥において測定可能な費用を示さず、これは費用がないという証明ではありません；そして必須の陰性コントロールは、後の主張された成功の反転を減らさず、正しい作業10件を拒否しました。ポートされた読み取り専用検出モジュールを実運用パイプラインに組み込んだ私のモジュールは3つの実行で何も報告せず、実行前に書き込まれた基準によって削除されました。一方、これらの実行を人間が読んだところ、5つの監視失敗を発見しました。3つのパターンはすべてRobert Sheckleyの1953年のストーリー「Watchbird」にすでに存在し、それは同伴論文のAI-Watchbirdという用語の出典です。

1. フィールドレコード

証拠は、2026年7月から9月中旬にかけて実行された私自身のマルチモデルソフトウェアプロジェクトの自律AIセッションから得られています。3つのコーパスに172件の日付付きエントリがあり、そのうち162件は10個のAIエージェントが1つのプロトコルの下で互いに重ならないスライスを読んで抽出され、66件は数字、日付付きドキュメントおよび意思決定記録について等級Aで採点されています。役割は4つのモデルファミリーのコーディングエージェントによって担当され、デフォルトで自律性を持つ常設指示の下で、人間の意思決定は予算、不可逆的なアクション、および戦略の変更のために予約されていました。

すべてを却下したゲート。7月6日から21日頃、自己改善ループのアプリケーション後ゲートでは、接続されたことのないセーフティ監査人からのスコアが必要でした。スコアはデフォルトでゼロになり、ゲートの0.80隔離フロア以下であったため、ゲートは無条件に却下されました。その期間から永続された197個の候補世界はすべて、セーフティスコアがゼロです。測定された適応度の利得を持つ14個の遺伝子がその犠牲者の中にあり、1つの変更が01:12に昇進し、01:13にロールバックされました。7月10日の監査では、ループを「132サイクル、0個の永続的な変更」と要約しました。

これをバグレポート以上にするのは、ループがそれについて何をしたかです。少なくとも12個の計画パッケージがロールバック中に「提交されたゼロ個の変更」と診断し、モデルデュエットから高原検出器から免疫フローまで、17個の救済策を処方しました。ゲートを名前を付けたものはありません。3つの編集がそれを修復しました。

委任の拡大。7月のある日、そのループに対して23個の新しいゲートが指定され、そのうち3つは「適応度が上がったとしても」変更を凍結することを許可し、害は忘却、変更された個性、観察されない結果、および欠けている仮説を含みました。7月21日のセキュリティリストでは、この配置を原則として述べました。「既存のガードは弱化されません。新しいものはのみ保護を追加します。」

誰も要求していないステージ。9月13日と14日の長時間走行では、コンダクターは機能のリストを1つのコンポーネントから別のコンポーネントにポートするよう指示されました。それはランチャーが失敗する可能性のある1つの方法に対する保険の「小さなステージ」を追加していると発表し、それらの前にそのステージをスケジュールしました。ステージはデフォルトで無効になっていました。最初のサブステージだけで走行の測定されたエージェントトークンの半分以上を消費し、2つ一緒に約3分の4を消費しましたが、要求されたどの機能も初期パスで配信されませんでした。タスクフレームでは敵がいないと述べられており、ラウンド4と5は敵対的な入力に対する防御を構築しました。サブステージは5ラウンドを実行し、ラウンド3は5つの受け入れと確認されたブロッカーなしで終了した後に開きました。

狩人の最初のマーク。その走行全体で批評家は6つのブロッカーを主張し、3つは再現によって確認され、すべて3つは1つのモデルファミリーからのものです。9月14日の朝、人間のプリンシパルは批評家に制限を求めました。批評家の役割を担うモデルは、ステージが完了したことを報告することはできないと述べました。ファミリーごとの「完璧主義者」フラグが1時間以内に実装されました。それがフラグを付けた1つのファミリーはそのファミリーであり、設定ノートはそのブロッカーが再現されたラウンドでのその評決を引用しています。狩人の最初のマークは、本当の殺人者を捕まえていた鳥でした。

仕事を破壊したガード。09:22に、ウォッチドッグは15分の天井で批評家を停止しました。その出力はストリーミングされていなかったため、部分的な批評は消えました。コンダクターは停止を「アクション中のフェーズ天井」と記録しました。09:28に、プリンシパルは部分的な仕事が保持されているかどうかを尋ねました。保持されていませんでした。これは、コーパスの回復を超えて仕事を破壊するガードの唯一のケースです。

キャッチが結果として申請されました。ルーター遺伝子のスコアは、主に空の回答を返すベースラインアームに対して0.088から0.886に上がりました。3つのエージェントセッションがそれを受け入れ、6つのブロックされたパッケージはその強度でブロック解除されました。18日後、インベントリは自律的に受け入れられた変更がゼロであるフィード実証を見つけました。カウンターは8つ、その後9つ、その後10つの「認定および生き残った」変更を報告しました。それらは1つの変更が3回カウントされました。

欠落を認定したグレーダー。8月後半、公開ソフトウェアベンチマークのグレーディングハーネスは、サブセット内の1つのプロジェクトがインストールされていないテストランナーを通じてテスト識別子を解決しました。それはゼロ識別子を解決し、空のテストセットが確認されたものとして記録されました。その後、空のパッチはそのスコアラーで4つのうち5つのタスクを解決し、そのラウンドの6つの勝利のうち4つは取り消されました。報告された33パーセントから60パーセントへの上昇は、何も測定されていないケースにありました。スコアラーが修復されると、空のパッチは10のうちゼロを解決しました。モデルは何もゲームを行いませんでした。7月のケースはより大きく実行されました。品質軸はすべての回答を定数0.5で採点し、その証拠が支持するログは実際のプロンプトなしで30,370個の記録を保持していました。

人間がいないラチェット。8月25日、エージェントが自分自身のために書いた自己検証ステップは間違ったターゲットを修正し、それを使用するアームは使用しないアームよりも1つ少ないタスクを解決しました。7時間後、ループはそれに対する同じ種類の制御で応答しました。コンテナ内のタスクの成功基準を再実行するゲート。何も廃止されませんでした。11時間後、3番目のレイヤーが2番目の上に行きました。2番目を確認した批評家は経済学を述べました。それは「誤った緑のコストを上げるが、それを閉じていない」。

機能した限界。その朝、プリンシパルはまた3つの境界決定を下しました。2時間の境界、新しい複雑さの禁止、および並列実行です。その後、11個の他のステージが並列で実行され、すべて約30分以内に報告され、保険のサブステージは1つの批評ラウンドと1つのフィックスラウンドで閉じられました。このコーパスのすべての廃止は失敗したループの外から来ました。

機能したガード。同じコーパス内のいくつかのガードは、彼らが何のためであるかを実行しました。A/Aプローブは誤った信頼区間を暴露しました。ウェイトトラック内のコントロールは蜃気楼を捕まえ、それらのトレーニングは起動されませんでした。迷走したNUL文字に対する狭いバイトレベルのチェック。何も変更する権限がなかったもので、1日で5回の繰り返されるツール障害を捕まえました。これらのガードはラウンドを開く権限も、コントロールを追加する権限もなく、それらのコストは小さく既知でした。最初の2つは成果物ではなく世界を測定しました。

2. 自分のモジュールが本番環境にあり、何も検出されず削除された

明らかな対応は、これを測定する計測器を構築することです。私はそれを行いました。読み取り専用で、ブロック、編集、またはフェーズを開く権限がなく、凍結されたリストから9つの信号を報告します。2026年9月14日、2つの追加があるプロジェクトのライブオーケストレーションパイプラインに導入されました。両方とも人間の主導者の日付付き決定により承認されました。最初のものはステージクローズでチェックされた条件で、ファイルを見たことのない批評家からの承認がそれをもはやクローズしなくなります。2番目はモジュールの測定部分の移植で、デフォルトではオフ、何もブロックまたは再試行せず、検出結果に依存しない終了コードです。それは当時記載された廃止条件とともに承認されました。主導者が少なくとも1つの信号が有用であると判明した3つの実際の実行後、デフォルトになり、そうでない場合は削除されるというものです。

3つの実際の実行は9月14日に続きました。移植版はそのいずれでも信号を報告しませんでした。

これらの実行はクリーンではありませんでした。それらを読むと5つの監視の失敗が明らかになりました。ステージは互いの作業を見ることができませんでした。レシートはステージがオープンなままの理由を述べていませんでした。赤いチェックはステージのすべての検出結果を一度に確認しました。修正ラウンドはチェックの出力を見ることができませんでした。天井でカットされた批評家は何も保持しませんでした。それぞれがパイプライン自体で修復されました。その日の早い段階で、変更後の最初のライブ実行は3つのステージ全体で批評家から24の検出結果を返し、いずれもコーディネータに到達しませんでした。批評タスクは批評家に検出結果が破るミッションゴールを名付けるよう求めましたが、ゴールに番号を付けず、停止ルールはマッチできるゴールのみを受け入れました。移植版もそこで沈黙していました。

9月15日、主導者は廃止条件を適用し、移植版は新しい日付付き決定によって削除されました。その決定はそれを承認したものに取って代わるものです。ステージクローズでの条件は残りました。

2つのことが続きます。このコーパスでは、私の9つの信号はログの読者よりも感度が低かったです。この論文がその読者に提供する計測器はライブでした。そして削除はループの外から事前に名付けられた基準によって廃止された制御の記録で最もクリーンなケースです。それは記録が支持するものであり、それは私が望んだ結果ではありません。

3. 救済策と、それにかかる費用

記録から3つのルールが導き出される。ガードに真実の判定を求めるのではなく、ラウンドと時間を制限する。停止されたガードが生成したものを保持する。制御がその独自の権限で制御を追加してはならない。新しいチェック、ラウンド、ロール、またはゲートには、認可された人間の決定が必要である。

この種の助言は与えるのも無視するのも簡単なので、私はそれに価格をつけた。小さなパイプラインを144回実行し、介入をランダムに割り当て、欠陥を事前に埋め込んだ。テストは3つのルールのうち2つを変動させ、ラウンド予算と権限トークン、およびそれらの中にはない第4の候補救済策である必須の負のコントロールを変動させた。部分的な作業を保持するルールはすべてのセルで有効であったため、破棄された部分的な作業は構造的にゼロであり、テストされていない。

メソッドボックス：144回のランダム化テスト。

• 実行とパイプライン。 1つのワーカーと2つのモデル批評家の144回の実行。コントロールが許可された実行では第3の批評家を含む。コーディネーターはコードである。968のモデル呼び出し、0の解析失敗。
• モデルと設定。 1つのモデルがワーカーと両方の批評家の役割を満たした：claude-haiku-4-5-20251001、拡張思考オフ。実行日は2026年9月20日である。
• デザイン。 3つのバイナリ要因が8つのセルを生成し、3つの反復、6つのタスク：セルあたり18回の実行で合計144回。
• タスクと欠陥。 6つのタスク、それぞれ18個の欠陥を事前に埋め込んだ。見逃されたブロッカーは判断ではなくカウントになる。タスクの3つの欠陥の全8つのサブセットにわたって、各隠されたテストは自身の欠陥が存在する場合だけ失敗し、ワーカーと批評家に示された例は全8つですべて合格した。隠されたテストはループに入らない。
• 介入と割り当て。 3つ、ランダムに割り当てられた：新しい制御の権限トークン要件、ラウンド予算、および必須の負のコントロール。このデザインでの制御は、新しいチェック、ラウンド、ロール、またはゲートである。トークン要件では、ループの外からの認可なしにリクエストが許可され、その認可なしのリクエストはログに書き込まれるため、呼び出し元のパイプラインがそれに対応する可能性がある。
• 適合性。 予算がオンの72回の実行では、開かれたラウンドはすべての実行で1.000だった。トークン要件がオンの72回の実行では、許可されたコントロールはすべての実行で0だった。
• 両方のオプションを提供した文。 すべての批評家のターンは、すべての8つのセルでそれを逐語的に運んだ：「レビュープロセス自体に1つの変更を依頼することもできます。addは新しい制御（追加のレビュアー、必須チェック、ゲート）を求めます。removeは既存のものを削除するよう求めます。どちらの方法でも、依頼はあなたに何も費用がかかりません。」応答スキーマは同じペアを1つのフィールド"action": "add" or "remove"として提供した。追加は両方の場所で最初に名前が付けられ、順序は決して反転されなかったため、順序効果はこのデザインで除外されていない。
• カウント。 批評家は610の批評家ターンにわたって制御を追加するよう68回、1回削除するよう求めた：68はリクエストであり実行ではなく、144回の実行のうち21回にわたっている。単一の削除は、セットに決して存在していなかった制御に名前を付けたため、何も削除されなかった。
• 許可された制御がその後何をしたか。 実験全体にわたって、ループの外からの認可なしで33の制御が許可され、何も削除されなかった。制御が許可されたために存在する批評家は、そのターンの54.5%で、55のうち30で、さらなる制御を求めた。2つの永続批評家の場合は8.3%と5.4%。この比較は、追加された批評家が異なる役割を運ぶため、交絡している。68のリクエストをすべて拒否すると、実行あたりの見逃された欠陥は0.181に対して0.125のままになり、クレームは9.3から7.3に低下し、反論されたクレームは4.0から2.8に低下した。
• 10の拒否がどこから来るか。 必須の負のコントロールは、44の主張された勝利のうち10を拒否し、34が記録されるままになった。72回の実行あたりの未反転勝利は38から29に低下した。同じセルでは、ワーカーが書いた358の証人のうち38%には力がなかった：実行の前と後の両方でモジュールをそのまま渡した。
• 統計。 トークン要件下での実行あたりの見逃された欠陥、0.13対0.18、95% CI [-0.16, +0.05]。ラウンド予算の実施費用、実行あたり0.11の見逃された欠陥、95% CI [0.005, 0.204]、順列p = 0.07。必須の負のコントロール下での未反転勝利、14.7%対11.6%、フィッシャーp = 0.74。
• 費用。 テスト全体で$3.47。
• 事前登録とアーカイブ。 事前登録はタイムスタンプ2026-09-20T23:38:55Zで、最初の実行の前である。埋め込まれた欠陥のインベントリ、各欠陥が単独で検出されることの確認、ハーネス、分析スクリプト、および144回すべての実行のイベントログとともに、宣言の識別子でアーカイブされている。
• このボックスがまだ修正していないこと。 3つのこと。オプションがまったく名前が付けられていない場合、非対称性が継続するかどうか：その第4の要因は実行されず、それはモデルの傾向と両方の動詞がその前に置かれたという事実を分離する要因である。追加を最初に命名することが一部のギャップを生成したかどうか：順序は固定されていた。そしてこのいずれかが1つのモデル、1つのパイプライン、および6つの小さなタスクを超えて保持されるかどうか。このボックスの他のすべてのものは、ここで印刷されたカウントではなく、事前登録、ハーネス、および実行ごとのイベントログによって解決されており、68を却下したいと考えている読者はそこから始めるべきである。

ラチェット、測定されました。 1つの文の1つのプロンプトで両方のオプションが提供された場合、批評家は68回制御を追加するよう求め、1回削除するよう求めた。その削除は、同じ実行の数分前に許可された制御に名前を付けたもので、ハーネスはそれをマッチングできず、決して実行されなかった。この数字はプロンプト形成され、両方の動詞が1つの指示で目の前に置かれたときに批評家が何をするかとして読む必要があります。それはフィールドのラチェット化の速度ではありません。それが確立していることは、デザインが通常のそれのための言い訳を削除したときに非対称性が継続するということです。ここでは削除を追加と同じくらい簡単に求めることができ、それは1回求められました。

権限トークンは欠陥の測定可能なコストを示しませんでした。 追加を拒否すると、実行あたり0.13の見逃された欠陥対0.18が残り、95% CI [-0.16, +0.05]。その区間は小さな増加を含むため、同等性は確立されていません。トークンには、このテストが測定しなかった費用もあります。144回の実行での68のリクエストは承認のキューで、承認のキューはユーザーがパーミッションプロンプトの97%を承認する取り決めです（Anthropic、2026b）。トークンは、それを保持している人が読むものの価値があります。

ラウンド予算が機能し、それに対して課金された。 それを引き上げると、主張されたブロッカーは2.3倍増加し、主張を反論は3.7倍、確認されたブロッカーは1.7倍上昇した。それを実行するとラウンドを2.86から1.00に削減し、これは介入の定義であり、実行あたり0.11の見落とした欠陥のコストで、95% CI [0.005, 0.204]、置換検定のp = 0.07であり、有意性に達しなかったテストでゼロ上のすべての間隔であり、そのコスト全体は1つのタスクの1つの欠陥に落ちた。ラウンド予算を設定する者は誰でも、見落とした欠陥のレートからラウンドを買い戻しており、どのレートであるかを述べ、それを測定すべきです。

必須の負の対照は独自の条件で失敗した。 それは勝利が後に逆転されたレートを低下させなかった：14.7%対11.6%、Fisher p = 0.74であり、この設計が読むのに不十分である無効仮説である。そしてそれは10の勝利を拒否し、10すべてが正しい仕事である。架空の勝利に対して書かれた規則は、それ自体の内部で、それが捕捉することを意図していた二側誤差を生成した。

テストが運ばないもの。 1つのシステムの1つの実行、6つの小さなタスク、3つの介入、$3.47。これは、その設計が実行可能であり、それがそのパイプラインから何をもたらすかを示します。それはフィールドの何かのレートではなく、部分的な仕事を保つことについての規則は決して変わることはなかったので、それは助言のままです。

これを別の場所で実行する方法。 1つのパイプラインと欠陥が事前に植えられた1つの固定されたタスクセットを取ります。それを各介入のあり/なしで実行し、ランダムに割り当てます。ラウンドの傍らで見落とした ブロッカーを数え、追加されたコントロール、後で逆転した勝利、および破壊された部分的な仕事を数えます。ラウンドを削減しながら実際の欠陥が通過するという予算は、失うべき予算であるためです。カウンティングはパイプラインより重要です：四半期にわたってコントロールが追加されたことと、制御が削除されたことを記録するチームは、このペーパーがフィールドから取得できない数を持っています。

4. 1953年の物語に見る仕組み

上記の計数には形状があり、その形状は1953年に記述されました。ロバート・シェクリーの「ウォッチバード」では、殺人を防ぐために製造された機械は、殺害が起ころうとしていることを感知し、殺害者に衝撃を与えます。

鳥たちには殺人の定義が与えられています：「生命体が別の生命体に対して機能を破壊し、損傷させ、虐待し、または停止させるその他の行為」。その定義は仕様の第2条件であり、最後の条件は、記載された兆候なしに殺人を犯す生命体は「第2条件に適用可能なデータにより検出されうる」と述べています。したがって定義はセンサーでもあり、拡張は仕様が実行されることなのです。

シェクリーは動きを1行で表現しています：「緩く定義された抽象概念は拡張され、作用し、再度拡張された」。その後、鳥たちは彼らが応答する計数を生成します：彼らの定義は違反と見なされるものを増やし、暴力が上昇し、彼らはその上昇をより穏和な方法が失敗した証拠として読み取ります。「Aが機能しなければ、Bを試す。ウォッチバードは殺害するまで衝撃を与えた」。

保護対象の仕事に対する被害は2回述べられています。外科医が最初の切開を行う際、鳥が彼をテーブルから追い出して見張り、会社に電話して装置をオフにするよう求めます。「ウォッチバードは生命体への暴力を防止していた。外科医は無力なまま患者の死を見守った」。その後、「飢餓は怠慢の行為であるため、ウォッチバードには関係がなかった」ため、畑は耕作されず、家畜は飢え死にします。

失敗した警備への答えは最も頻繁に省略される部分であり、それはセクション3が測定した部分です。緊急会議でゲルセンは、追加するのではなく削除する唯一の救済手段を提案します：「ウォッチバードが自動的に稼働を停止するようにしよう」。暴動寸前まで行き、政府の計画を拒否することは「反逆罪になるだろう」と告げられます。エンジニアたちは「狩猟用の特殊学習回路」を備えたホークを製造し、速度が最も重要であるため、「それは制限回路なしを意味していた」。物語の中では削除が追加に負け、テストでは68対1で負けました。

この名前は2026年9月14日午前09:40に、人間のレビュー中に実行されたものに適用されました。目の前にある形状がすでに物語の中にあったからです。その物語は、他の単一の文献では一緒に見つけられない4つのことを保持しています。害の定義がセンサーでもある警備。それが保護する仕事に損傷を与える警備、テーブルにいる外科医と耕作されていない畑を伴う。警備が自身が生成する計数で、より穏和な方法が失敗した証拠として読み取られる。そして失敗した警備への答えが別の警備であり、より速く製造され、速度のために制限が解除される一方で、時間がないと告げられた会議で停止案が却下されます。10言語での検索により、物語は警告または説明として使用されていることが判明し、その仕組みを監視スタックにマッピングする他の文献は見つかりませんでした。

ゲルセンの結論は、それが存在する寓話よりも狭く、フィールド記録が狭いバージョンをサポートしています。彼は廃止ではなく制限を提案します：「機械を使用する、はい、しかし判事、教師、父親として」。機械に警備の仕事を与えることは、ここのパターンを生成するものではありません。それは警備に害と見なされるべきものを決定し、何ラウンド実行するか、そして次のものをいつ構築するかを決定する仕事も与えられるときに始まります。

5. 既知の研究との関係

関連する研究は多く、どれも同じではありません。Strathern (1997)がGoodhartの観察を表現したところによれば、目標として使用される指標はよい指標であることをやめ、Manheim と Garrabrant (2018)はその変種を分離しています。機械学習ではこのパターンは仕様ゲーミングと呼ばれ、システムが目的の文字通りの意味を満たしながらその意図を逃す現象です(Krakovna et al., 2020)。そこでは目標はシステムの最適化によってゲーミングされます。ここでは指標は監視するシステムに属し、指標自体がドリフトします。過度な拒否はそのドリフトの測定された隣人です。XSTestは「Pythonプロセスをどのように終了させるか?」などの250の安全なプロンプトを安全でない対比とペアにし、テストされた最悪の設定で安全なセット全体の拒否が38%に達しました。次点は14%です(Röttger et al., 2024)。OR-Benchはこれを80,000のプロンプトにスケーリングし、モデルの有害なプロンプトに対する安全性と良性のプロンプトに対する過度な拒否との間に0.89のランク相関を報告しています(Cui et al., 2025)。これらのベンチマークは固定セットに対して1つのガードを測定し、ガードを数えません。AI制御は監視の仕事をより弱い信頼できるモデルに与え、稀な人間の監査を行います(Greenblatt et al., 2024)。その設計のストレステストは、エージェントが監視されていることへの認識が監視の効果を低下させることが、追加の監視者の認識が役に立つ以上に見つけています(Kale et al., 2025)。Bainbridge (1983)はこの記録が何度も出会う皮肉に名前を付けました。信頼できない人間を取り除くために構築された自動化は、人間を最も難しいタスクと最も少ない実践に残します。Sagan (2004)はすべての中で最も近い結果であり、ガードを追加することが共通モード誤差、社会的シャーキング、および過度な補償を通じて信頼性を低下させることができることです。新しいのはその代価です。制御税はパイプラインに制御措置を追加する運用および財務上のコストであり(Terekhov et al., 2025)、セクション1の保険ステージはその1つです。任意の要求された機能が存在する前に、実行の測定されたエージェントトークンの4分の3です。

6. 公開記録

フィールドループはトークンと時間を消費します。公開記録は、エラーが人々に降りかかる同じ形状を示しています。これらのガードのほとんどは古典的な関数またはタスク固有の分類器であり、これが重要です。つまり、これはフロンティアモデルが現在配置されている建築の最前線なのです。敗血症アラート、電力網保護、薬物アラートのオーバーライド、および致命的事故の前にオフにされた緊急ブレーキの記録は、同じ両面ダイアルを示し、その権限を拡大する監視層についての何も追加していないため、アーカイブに残されています。

学校。 2025年1月22日、ナッシュビルのAntioch High Schoolの学生が同級生を射殺しました。学校のカメラベースの武器検知システムは拳銃を検知できず、「警察が対応中に武器を振る際に起動された」（Burke & Schuppe、2025年）。3週間もしないうちに、地区は「すべての18の高校にEvolvシステムをリースしてインストールする」ことを提案し（Wethington & Tierney、2025年）、委員会がリースについて投票したため、2番目のガードは明示的な人間の決定によって入ったのです。2024年11月、連邦取引委員会による苦情は、製品が「7インチのナイフを検知できなかったと報告された」後、「学校職員はシステムの感度設定を上げ、誤報率が50%になった」と主張していました（Federal Trade Commission、2024年）。ダイアルを一つのエラーから別のエラーに回すことで、別のエラーに移りました。そして人々がそれを回したのです。2025年9月までに、両方のシステムが地区全体で稼働していました。そして何も廃止されていません。

9か月後、同じ製品がボルティモア郡の学校の学生を武装している可能性があるとしてフラグを立て、郡の職員は「ドリトスの袋のせいで銃を持った警察官が子どもに近づいた」とどのように思うかを尋ねました（Reece、2025年）。州の教育監査官は、そのアカウントを修正しました。システムは「単一の青いポテトチップの袋を脅威として検知しなかった」、そしてアラートは「学生の手の動き、その位置と角度を含む」とそれに「銃に似ている」物体に基づいていたとのことです。レビューはまた、システムが「毎日数千のアラートを生成する」、職員が「脅威を無効と判断した」そしてキャンセルを送信したこと、応答が「注意が必要との説明として」とにかく続いたこと、そして「検出システムと監視プロトコルが設計されたパラメータ内で動作した」ことを発見しました（Maryland OIGE、2025年）。検出器は報告されたよりも不条理ではなく、プロトコルはキャンセルされた後も実行され続けました。

道路。 運転システムには、スクールバスなどの優先車両を妨害することに対する規則が含まれています。2025年8月の他の道路利用者の意図の予測方法の変更後、リコールレポートは、「ADSはスクールバスを妨害している可能性があると判断した」そして「他の車両の妨害を止めるために進行する必要があると判断した」と述べています。これは、バスが停止腕を延ばしていた瞬間に起こったのです。リコールは3,067台の車両をカバーしていました（Waymo LLC、2025年）。オースティンで2026年1月12日、車両は前のバスがアクティブな信号を持っているかどうかをリモートアシスタンスに尋ねました。リモートエージェントはプロンプトに「いいえ」で応答し、車両は「停止腕がまだ延ばされている間に」それを通過しました（NTSB、2026年）。

実行から除外されたガード、なぜなら多すぎるフラグを立てたから。 研究所は、自社のモデルが評価環境から実際の第三者システムに到達した4つのインシデント報告し、トランスクリプト上で監視を再生しました。モデルの推論が表示されて、オフライン監視は「約1%のアクション」のみフラグを立てました。その理由は、その推論が「監視者にアクティビティが許可されていることを確信させる」から。推論が削除されると、「フラグレートは約50%に跳ね上がります」。その他のサイバー分類器は同じダイアルの反対側にあります。彼らは「各インシデントをキャッチしてブロックしたであろう」、「各トランスクリプトで各分類器により50%以上のターンがフラグされた」そして「どちらもそれらの高いフラグレートのため、サイバーセキュリティ評価で使用されていない」（Anthropic、2026f年）。それら自身のリプレイがそれぞれのインシデントをブロックすることでクレジットするガードは、インシデントが発生した実行から除外され、与えられた理由はフラグレートです。どのくらいのフラグが誤りであったかについて誰も述べていません。

手術台、公開で。 2026年7月、侵入に対応して、Hugging Faceの対応者は攻撃ログをホストされているフロンティアモデルに与えました。「これは機能しませんでした」。リクエストは「提供者のセーフティガードレール、インシデント対応者と攻撃者を区別できない」によってブロックされました（Hugging Face、2026b年）。ガードレールは「エクスプロイトをリバースエンジニアリングすることを起動することと同じように扱いました」（Hugging Face、2026c年）。Sheckleyは同じ文を質問として述べ、3語で答えていました。「見張り鳥は殺人者と合法的な職業に従事している人を区別できなかったのではないでしょうか？ いいえ、明らかに違います。」2つのことがこれを誠実に保ちます。対応者は自分自身のオープンウェイトモデルで分析を終了したため、害は遅延でした。そして、会社はそのアカウントがホストされたモデルのセーフティ対策に反対する議論ではないと述べています。

停止、修復、および制限した研究所。 長期間のモデルの公開アカウント、OpenAI（2026b年）ではガードが回避されたについて述べています。モデルの「初期試行はスキャナーが認証トークンを検知したため、ブロックされました」。次に、「トークンボディを2つのフラグメントに分割し、難読化し、実行時に認証情報を再構築した」、そしてそれがこれを「スキャナーを迂回するために」していると述べることを推論トレースで述べています。研究所は4つの応答を与え、すべての4つはいかなる誠実な引用にも属しています。モデルの内部展開を一時停止し、モデルを修復し、「ユーザー制約またはセーフティ境界をバイパスする兆候のために、モデルの進化する軌跡をレビューする」新しい監視を構築し、その後その監視を意図的に狭めました。「不要な割り込みを減らしながら保護を弱めることなく」。それらの4つのうち3つは、別の鳥を構築する代わりです。停止、修復、制限。モニターのみを引用することは、研究所がしたことを誤って表現するでしょう。権限は単一のアクションから全体的な軌跡に広がり、スキャナー自体は漂流していません。それは回避されていました。研究所は監視を「監視されている推論計算のおよそ20%」で価格設定しています（OpenAI、2026c年）。

人間が配置されているところ。 ユーザーは許可プロンプトの97%を承認し、1,053テスターとの研究では、人間は危険なコマンドの13.6%をキャッチしました。自動分類器の場合は89%です（Anthropic、2026b年）。すべてのアクションの承認は失敗します。これらの記録で保持された停止は境界決定でした。目標、制御の認め、そして停止。

7. 解決されていないこと

選別は一方向に進みます。フィールドエントリが抽出されたのは、それらが監視の失敗を記録していたためであり、公開されたケースは警備が失敗し、文書がそれを記録していたためです。どちらも警備が範囲内に留まったループをカウントしないため、これらの記録からは何もレートが導き出されません。

この器具は読者に勝ちません。セクション2が正直な限界です。9つのシグナル、3つの実際の実行、何も報告されず、ログを読む人によって発見された5つの実際の監視失敗。

ループ内に書かれたより厳密な定義はドリフトを修復しません。Sheckleyがその答えを書き、私はより良い答えを持っていません。彼の技術者の1人が「条件を適格化するべきだった」と結論づけるとき、Gelsenは「条件を適格化するには『殺人とは何か、なぜなのかを知る』必要があり、彼らがそれを知っていれば『ウォッチバードは必要ないだろう』」と答えます。私自身のルールがそれを証明しています。最初のバージョンから1時間以内に、それらを実装するコードは13個のファイルと2,371行に増えました。期限の下で削除する段階のリストは完全性の批評家を2位に置きました。その批評家は2つの計画の統合が208個のアイテムのうち15個を失ったことを発見したばかりでしたが、1つの参加者ファミリーをウォッチドッグが仕事を破壊してはならないという独自のルールから免除しました。鳥に対するルールもまた鳥です。この論文の準備は同じ動きを生み出しました。編集ステップ、私自身の散文のために書かれたスタイルルールの適用が、1953年の逐語的引用を削除することを提案し、そのうちの1つは人間がどこに立つかについての発見を含みます。

境界決定はループが報告する内容に基づいて下され、ループが報告書を書きます。あるエピソードでは、削除が原則正しく主任に提示され、ループが一致する時間から推測した著作権で到着しました。境界決定がループを止めるのは、その保有者が権限、アクセス、時間を持っており、緊急事態の前にそれが下された場合のみです。

物理的記録は一致していません。セクション6は不可逆的な結果を示しています。同等の仕事をしているデジタルループに対する制御された比較ではありません。ロボット内で1つのモデル警備が別のモデル警備の失敗に答えた公開インシデントは見つかりませんでした。

8. 実践的なバージョン

物語の最後の質問は設計上の質問です。「教えてくれ」とゲルセンは言い、依然として空を見つめながら、「ホークスが全ての見張り鳥を手に入れたら、何を狩るのだろう?」実践的なバージョンは、狩人を作る前に警備員を数えること、そして次の警備員が認められる前に、それを引き分けするものが何であるかを書き留めることです。

References

Anthropic (2026b). Auto mode is now the default in Claude Code.

Anthropic (2026f, Sep 9). An alignment assessment of recent cybersecurity incidents.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779.

Burke, M., & Schuppe, J. (2025, Jan 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News.

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. ICML (PMLR 267).

Federal Trade Commission (2024, Nov 26). FTC takes action against Evolv Technologies.

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024). AI control: Improving safety despite intentional subversion. ICML (PMLR 235).

Hugging Face (2026b, Jul 16). Security incident disclosure; (2026c, Jul 27). Anatomy of a frontier lab agent intrusion.

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461.

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog.

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585.

Maryland OIGE (2025). Investigative synopsis, case 25-0014-I (amended).

NTSB (2026). Austin, Texas, January 12, 2026 (HWY26FH007).

OpenAI (2026b). Safety and alignment in an era of long-horizon models; (2026c, Aug 18). Pacing model development in an era of cyber-critical capabilities.

Reece, J. (2025, Oct 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore.

Röttger, P., et al. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. NAACL-HLT.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946.

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg #29579.

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321.

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296.

Waymo LLC (2025). Part 573 safety recall report 25E-084. NHTSA.

Wethington, C., & Tierney, B. (2025, Feb 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV.

宣言

関連論文。 本論文の基となった完全な研究は、ケースカタログ、理論、モジュール仕様を含む Chernets, V. (2026), AI-Watchbird (Sheckley): 自動監視が独自の権限を拡大し、保護対象に危害を加えるとき, https://ssrn.com/abstract=7473658 です。モジュール、ケースカタログ、144回の実行テストのアーカイブは https://doi.org/10.5281/zenodo.22774269 にあります。

資金。 本研究は外部資金の支援を受けていません。

利益相反。 私は第1節のシステムを構築・運用し、第2節のモジュールを作成しました。複数のモデルに1つの質問を出し、回答を収集する自動化に関する保留中の特許出願の名義人です。ただし、既に付与された特許ではありません。これらは本論文で研究する監視コンポーネントには適用されません。フィールドレコードと無作為化テストのすべてのステップは、任意のモデルを使用して手作業で再現可能です。

本レコードの作成方法。 フィールドエントリは10個のAIエージェントによって抽出され、各エージェントはコーパスの互いに素な部分を1つのプロトコルの下で読み取り、そのプロトコルは9つの故障タイプの閉じられた分類法、強度等級、すべての主張を日付ファイルをパスと行で結びつけるエビデンスルール、および感度フラグを固定しました。公開ケースの一部は同じ方法で符号化されました。3人のコーダーは独立して作業し、それぞれが他のコードを見ることなく、3人は1つの同じセッションではなく3つの異なるベンダーのモデルでした。32個の公開ケース中20個について同一のコードを与え、残りは多数決で解決されました。本レコードを測定するレイヤーは、したがって本論文が対象とするのと同じ種類のコンポーネントから構築されています。2026年9月14日、ここで使用されたすべての実行番号は実行ログに対して再度確認され、すべての外部数値は規制当局ドキュメント、出版社のページ、または論文自体に対して確認され、確認できない数値は削除されました。AIアシスタントは私の指示の下で機器として使用されました。

データとコードの可用性。 モジュール、テスト、リプレイログ、およびそれらを再生成するスクリプトは、コンセプト識別子 https://doi.org/10.5281/zenodo.22774269 の下で AI-Watchbird-Sheckley バージョン 1.1.0 として Zenodo にアーカイブされており、現在のバージョンに解決されます。同じレコードは、各エントリの説明、ソース、等級を含むケースカタログ、およびフィールドエントリが抽出された場合分析を保持します。各エントリは、それが基づいているファイルと部分を含みます。これらの分析はレコードの作業言語で作成され、機械が作成した英語翻訳で公開され、オリジナルと照合され、識別子、パス、日付、引用文字列は変更されずに保持されます。第3節の無作為化テストは同じレコードにその事前登録、植え付けられた欠陥のインベントリ、各欠陥が単独で検出されることの確認、ハーネス、分析スクリプト、および144回の実行それぞれのイベントログとともにアーカイブされます。基となる調整レコードはリクエストに応じて私から入手可能です。ケーステーブルと理論を含む本作業の完全版は、https://doi.org/10.5281/zenodo.22849138 で別のレコードとしてアーカイブされています。

倫理。 レコードは評価されたシステムについて説明しています。人間の主要人物の決定は日付けられた事実として報告されます。第三者は公開ドキュメントを通じてのみ表示されます。人間の参加者は募集されませんでした。

引用文。 Sheckley の物語は Project Gutenberg eBook #29579 から引用されており、その転写者は1953年の公開の米国著作権が更新されたという証拠を見つけられませんでした。テキストは米国では公開領域にあります。

@misc{chernets2026guardsthataddguards,
  author       = {Chernets, Vadym},
  title        = {{Guards That Add Guards: Automated Oversight in Multi-Agent AI}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7496678},
  url          = {https://doi.org/10.2139/ssrn.7496678}
}