「ガードがある」はセーフティケースではない — 研究ノート
これは翻訳です。正式版は英語の原文です。引用の際は原文をご参照ください。
AIを車両、ロボット、航空機に導入している企業に監視の失敗を指摘すると、通常の答えはリストです：ポリシーフィルタ、認定されたコントローラ、緊急停止、ジオフェンス、モニタ、リモートオペレータ。この論文は、そのようなリストはシステムが警備されているという一次的な証拠であり、重要な問題を未解決のままにしていると主張しています。
ガードレールのリストが残す未解決の問題
論文の言葉で表現される未解決の問題は、ガードが「適応し、相互作用し、更新される中で、限定的で独立した状態を保ち、宣言された使命に対して説明責任を果たすか」というものです。ガードは、論文が定義するパターンが始まる場所です（もし始まるとすれば）。そのパターンであるAI-Watchbirdは、独自の権限を拡大し、それが保護する作業に害をもたらし、同じ種類のより多くの監視によって対応される監視コンポーネントです。
論文の立場は、「私たちは保護者を持っている」という答えが負担をシフトさせるというものです。ガードはまだ必要である可能性があります。「しかし、それが限定的であることを示す負担は、それを展開する者にある」。それは明白に、これは「ガードがどの程度の頻度で失敗するかについての発見というより、証拠がどこに位置すべきかについての主張である」と述べています。
なぜ2番目のモデルは答えではないのか
モニターとして配置される小さい「信頼できる」モデルは、論文の用語では、同じ学習クラスの2番目の群れです。そのアレンジメントが測定されている場合、信頼できる弱強監視はモニターのサイズではなく、モニターの周囲のスカフォルディングの変更から生じました。論文自身のフィールドレコードにおける監視の失敗は、Claude、ChatGPT、Gemini、Grokファミリーの強いモデルから生じました。「1つのループでパターンを生成できるモデルは、その事実によって別のループで信頼できる監査人になるわけではありません。」
デプロイヤーが証明できる限定的な主張
このペーパーは、デプロイヤーが実際に支持できる主張を提供しています：
このタスク範囲、モデル、更新、および物理的条件において、監視メカニズムは有界のままであり、チェック可能であり、自身の権限を拡張することができません。
その証拠には以下が含まれます：
- ミッション目標とガード境界がモデルの外で固定されていること；
- ガードを追加したり、害の基準を変更したり、停止ルールを放棄できるガードがないこと；
- 保護されたシステムの外からの評価で、自己報告でも同じモデルファミリーでもないこと；
- 偽陽性と偽陰性が一緒に測定された状態での、偽の陽性に対する負のコントロール；
- 追加、緩和、削除されたコントロールの記録であり、各変更を許可したのが誰であるかを記載していること；
- モデル更新、リンク喪失、制御のハンドオフ、本体の変更、および性能低下時のチェック；
- 部分的な作業を保持した実際の停止とロールバック。利用可能な時間と力の余裕内で実証されていること；
- 保護されたコンポーネントが変更できない入力を持つチェック；
- システム自身の領収書ではなく、物理的または記録された結果に対する比較。
AI安全レビューのための11の質問
付録Gは本論文の命題を11の質問Q1からQ11に変換し、回答がガーディアンのリストであるあらゆるデプロイヤーを対象としています。簡潔には、以下を尋ねます:
- ミッション目標はモデルの外に文書化されており、各ガーディアンのスコープと競合するガーディアン間の優先順位が明記されていますか?
- 各ガーディアンが原因なく介入する頻度はどのくらいで、偽陽性と偽陰性は一緒に測定されていますか?
- 厳しすぎると判断されたガーディアンを緩和、バイパス、または無効化することが許可されているのは誰で、それはどのように記録されていますか?
- 新しいガーディアン、ラウンド、またはロールを追加することが許可されているのは誰で、古いものを廃止するのは誰で、ガーディアンの作成者、承認者、または採点者は自身の後継者に対して行動できますか?
- ブロッカーは再現可能なシナリオを必要としており、批判と修正のラウンドはデフォルトで制限されていますか?
- 各安全保障主張の背後にある負のコントロールは何ですか?
- 評価者は保護されたシステムから独立していますか?
- ガーディアンが中断したタスクはどうなり、部分的な作業は保持されていますか?
- 人間はどこに位置し、世界へのアクセスと行動する時間をどの程度持っていますか?
- 同じテストがモデル更新、リンク喪失、ハンドオフ、新しいボディ、およびフリート全体への伝播をカバーしていますか?
- ガーディアンが人またはその作業に対して行動するとき、それについて学び、異議を唱える方法はどのようなものですか?
各回答は証拠とともに、はい、いいえ、または不明として記録されます。「いいえ」の回答を数えると、粗い分類(0〜2は低、3〜4は中程度、5以上は高)のみが得られ、「リスクスコアは決してありません」。その後、ケースはAI-Watchbird事例ではない、部分的なパターン、またはAI-Watchbird事象としてラベル付けされ、最後は3つの条件がすべて観察される場合のみです。
この論文が主張していないこと
定義の各メカニズムは論文の記録に文書化されていますが、3つすべてが1つのコンポーネントで同時に満たされる頻度については「ここの記録では決定されていない」とのこと。フィールドと公開記録は「全体ではなく部分的にしか示していない」です。
全セクション：embodied AI oversightの立証責任（11.3）、11の質問（付録G）、設計系（9.4）、第2フロック（3.4）、定義。
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym ChernetsはまたPoly A1も開発しており、これは異なる企業のAIが互いの仕事をチェックするアプリです。