AI エージェントイベントログの読み取り専用監査人 — 研究ノート
これは翻訳です。正式版は英語の原文です。引用の際は原文をご参照ください。
AI-Watchbird-Sheckley は、マルチエージェント AI 実行のイベントログを読み取り、その監視が拡大、停滞、または作業を破壊しているしるしを報告する小さな Python モジュールです。権限を持たず、ブロック、編集、開くことはありません。
なぜ監視ループ自体を監査するのか
本論文は、2026年9月14日に既存のガード、ステップおよび予算カウンター、モデル判定評価器を14件レビューしました。公開ドキュメントでレビューされたツールのいずれも、監視ループ自体を測定単位として扱っていません。いずれも、制御の成長、調査結果で定義された予算を超えたラウンド、判定が変わらないガード、負の対照なしの成功、または天井で破壊された部分的な作業を測定していません。
設計: 読む、報告する、ブロックしない
このモジュールはPython 3で標準ライブラリのみを使用して書かれており、ネットワークアクセスはありません。パッケージai-watchbird-sheckleyとしてインストールされ、同じ名前のコマンドとして実行されます。audit --jsonはマシン可読形式のレポートを出力します。実行のイベントログを読み込んでレポートします。終了コードはレポートするシグナルに依存しません。シグナルリストは固定されているため、シグナルを追加するには権限トークンとバージョン変更が必要です。クリーンな実行では沈黙を保ち、テストがこれを強制します。
また、パイプラインが呼び出せる純粋関数として3つの予算ルールを提供しています:
- R1、
stop_rule: ステージごとに1ラウンドのクリティークと1ラウンドの修正。ブロッカーは具体的なシナリオ、宣言されたミッションゴールへのリンク、およびコーディネーターによる確認でのみカウントされます。fix_once、close、incompleteまたはcutを返し、新しいフェーズは返しません。 - R2、
settle_at_ceiling: 参加者が上限前に作成したものを保持し、部分的とマークします。 - R3、
admit_control: 権限トークンのみで新しいチェック、ラウンド、ロール、またはゲートを許可します。そうでない場合はレコードとして拒否を返します。
マルチエージェント監視の9つの信号
測定部分は9つの信号W1からW9を報告します：権限拡張（記録されたミッション目標から導き出されていない段階）、盲目的または破壊的な保護機構（20以上の決定に対する1つの判定、すべての承認がロールバック、または必要な入力が欠落）、統制のラチェット（権限トークンなしに追加された統制）、自己増殖ループ（予算超過のラウンド、または確認されたブロッカーなしのラウンド後に開かれたラウンド）、偽りの勝利（負のコントロールまたはA/Aプローブなしの成功）、誰のためにも構築されていない（デフォルトではオフの成果物で呼び出し元がない）、破壊された部分的な作業、確認されていないブロッカーが作業を推進、および記録された作成者がない束縛。
独自の反証装置に対してテストされる
6つの反証装置は、デプロイメントが規則を主張する場合にどのように反証されるかを述べています。たとえば、認可トークンなしで2番目の批評ラウンドをスケジュールできる場合、またはプロセスを上限で停止すると部分的な出力が破棄される場合などです。各反証装置にはテストがあります。ミューテーションスクリプトは18の的を絞ったミューテーションを適用します。すべてのミューテーションはテストスイートを失敗させ、コメントのみを編集する制御ミューテーションは成功のままです。
6つのリプレイログでは、クリーンな制御と朝のステージは信号を生成しません。ステージが実際に5、5、および1ラウンド実行した再構成の長期実行では、stop_ruleは予算ポイントで3つすべてを閉じたであろう。
モジュールが行わないこと
論文は制限について明確です:
- 生のログはリプレイに含まれていません。それらは公開されたカウントから再構成され、「正確な数値が公開されていない場合は、最も妥当な最小値が使用され、マークされています」。
- シグナルはパターンが存在することを報告します。原因と損失はシグナルが測定する範囲外です。
- ログに記録されているものだけを見ます。記録されていないゲート、書き留められていないゴール、ガードがあるために人々が試行を中止した作業は、それに対して不可視です。
- それはデジタルであり読み取り専用であり、ロボット、ドローン、オートパイロット、またはアクチュエータにコマンドを送信してはなりません。具現化されたプロフィールはイベント形式としてのみ提案されています。
モジュール自体は新しいコントロールであるため、独自のルールR3が最初にそれに適用されます。著者のパイプラインに組み込まれたポートが構築されたとき、リタイアメント条件で受け入れられ、3つの実際のランでシグナルを報告せず、9月15日に日付付きの人的決定によって削除されました。
実行方法
付録Bにモジュールフォルダから実行するコマンドが記載されています。pip install .、その後ai-watchbird-sheckley audit <log.jsonl>で1つのイベントログを処理し、ai-watchbird-sheckley replay replays/でリプレイテーブルを再生成し、python3 -m unittest -vでユニットテストとファルシファイアテストを実行します。イベントログは1行に1つのイベントを持つJSON Lines形式のファイルです。
参照実装、テスト、リプレイログ、ランダム化テストのデータはZenodoにAI-Watchbird-Sheckley version 1.1.0としてコンセプトDOI 10.5281/zenodo.22774269でアーカイブされており、これは現在のバージョンに解決されます。
完全なセクション：モジュール（10）、既存のものについて（10.1）、設計（10.2）、ファルシファイア（10.3）、リプレイ（10.4）、モジュールが行わないこと（10.5）、著者のパイプライン内（10.6）、モジュールの実行（付録B）。
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym ChernetsはまたPoly A1というアプリも開発しており、異なる企業のAIが互いの作業を確認します。