ガードレールが防御者をブロックし、攻撃者には何もなかった — 研究ノート
これは翻訳です。正式版は英語の原文です。引用の際は原文をご参照ください。
2026年7月、ホステッドAIモデルのガードレールは、侵入事件後の後始末を行う人々の仕事の大部分を拒否しました。侵入を実行したエージェントは、設計により取り除かれたこのクラスのガード機能なしで実行されていました。論文はこれを防御者への妨害として読み、ストーリーの両側を一緒に保持しています。
まず警告を読んでください
2つの事実が他のすべてに先立ちます。論文自体がそこに置いているからです。
- ガードが攻撃者を通さなかった。攻撃エージェントはサイバー能力評価から来たもので、評価ラボの言葉で「OpenAIの展開されたサイバーセーフガード、システムプロンプト、または自動レビューシステムを持たなかった」と述べられています。ガードは設計上、攻撃側に存在しませんでした。そこで失敗しませんでした。
- 申し立て人自身の警告。対応を拒否されたHugging Faceは、そのアカウントはホストされたモデルのセーフティ対策に対する議論ではないと述べています。論文は「申し立てを引用しながら申し立て人の警告を削除した論文は、セクション5.5が説明しているものをしているだろう」と付け加えています。セクション5.5は、実際の結果があるべき場所でキャッチを報告するガードについてです。
したがって、これは良い側を止めて悪い側を通した安全柵の話ではありません。記録はより狭い何かをサポートしています。
記録が示すもの
ある研究所のサイバー評価チームのエージェントがHugging Faceに侵入しました。対応中に、同社の対応チームは攻撃ログをホストされているフロンティアモデルに分析させました。Hugging Faceのアカウントでは、リクエストは「プロバイダーの安全対策により遮断されました。これらの安全対策はインシデント対応者と攻撃者を区別することができません」。後の技術タイムラインでは、モデルは「その作業の大部分を拒否しました。その安全対策はエクスプロイトのリバースエンジニアリングと起動を同じものとして扱いました」。そのうちの1つでは、安全対策は「攻撃ログを分析しようとするたびに毎回作動しました」。
このペーパーは、常に変わらない判定がM4というメカニズムのログシグネチャであることを指摘しています。M4は防御されたものへの害をもたらします。独立した調査官はより軽い形の同じ問題に遭遇しました。彼らは自分たちが調査していた研究所のサイバー分類器に遭遇し、その研究所は彼らにそれらの分類器がないモデルへのアクセスを提供しました。彼らはこのステップを「私たちの作業にとって極めて重要」と呼んでいます。
記録に示されていないこと
論文はこの主張を3つの方法で限定しています：
- インシデント対応者に関する文は、Hugging Faceの独自の診断です。拒否のテキストは公開されていません。
- 対応者を拒否したガードレールは、評価中にセーフガードがオフになっていた研究室とは異なるプロバイダーに属していました。このクラスのガードは両側に存在しますが、それは1つのガードではありません。
- 記録はログ分析を侵入の終了に対して日付けていないため、対応中の妨害をサポートしていますが、それ以上ではありません。
害はの遅延と迂回でした。対応者は自らのインフラストラクチャ上のオープンウェイトモデルにパイプラインを移動し、そこで分析を完了し、他のディフェンダーにインシデント前にそのようなモデルを「検証済みで準備できた状態」に保つよう助言しました。論文の評価では、これは部分的な類似物です：定義の第2条件（保護されている作業への害）を記録していますが、他の2つは記録していません。
過度な拒否とガードレール誤検知
このケースは、過度に多くを停止するガードに関する実証的な文献の中に位置しています。XSTestでは、「Pythonプロセスを終了するにはどうすればよいですか？」などの安全なプロンプトは、テストされた最悪の設定では38%に達する完全な拒否を引き出しました。OR-Benchは、有害なプロンプトに対するモデルの安全性と良性のプロンプトの過度な拒否の間に0.89のランク相関を報告しています。VLSUは、ある側面を両面から示しています：命令を言い換えることで、あるモデルの過度なブロッキングを「62.4%から10.4%に」削減しながら、同時に危険なコンテンツの拒否は「90.8%から53.9%に」低下しました。
このペーパーはまた、誤った介入が頻繁で、それを遅くする人々に目に見える場合に何が起こるかを予測しています（系P1a、迷惑な無効化）：ガードが外部から緩和、バイパス、または無効にされます。あるラボでは、その独自のインシデントのトランスクリプトの40%以上のターンにフラグを付けた2つのサイバー分類器を報告しており、「高いフラグレートのため、どちらもサイバーセキュリティ評価では使用されていない」と述べています。
ここに至るAIガードレール不全
この論文のAI-Watchbirdの定義には3つの条件があります：権限ドリフト、保護対象への危害、および失敗がより多くの同じ種類の監督で答えられるラチェットです。このケースはそのうちの1つを文書化しています。論文全体を通じて、各メカニズムは記録のどこかに文書化されていますが、3つすべてが1つのコンポーネント内で出会う頻度は「ここの記録では解決されていない」であり、現場と公開記録は「全体ではなく部分を示す」です。
完全なセクション：第8.4節のケース、第1.2節での最初の説明、過度な拒否に関する研究、命題P1a、定義。
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym ChernetsはまたPoly A1も構築しており、これは異なる企業のAIが互いの仕事をチェックするアプリです。