1つの武器検出器、2種類のエラー — 研究ノート
これは翻訳です。正式版は英語の原文です。引用の際は原文をご参照ください。
1年以内に、あるカメラベースの武器検出製品は学校の銃撃事件で拳銃を見落とし、別の地区では武装していない学生にフラグを立て、武装した警察が出動しました。このペーパーは、両方向でエラーを犯しているガードを示すために、この2つの記録を使用しています。
見逃し：ナッシュビル、2025年1月
2025年1月22日、ナッシュビルのアンティオック高校の生徒が同級生を銃で撃って殺害しました。学校のカメラベースの武器検知システムであるOmnilertは、ハンドガンを検知できませんでした。教育委員会はそれをカメラの設置場所に起因するものと考え、また「警察が対応時に武器を抜いた際にシステムが起動した」と述べました。
その3週間足らず後、教育委員会は「18校の全高校にEvolvシステムをリースおよび設置する」ことを提案しました。これはスキャナーという第2の防御手段です。教育委員会はそのリースについて投票を行ったため、第2の防御手段は明確な人間の決定によってもたらされました。論文はこれを段階8（外部の制約）に位置付けており、ループ内に追加された防御手段として数えていません。
それらのスキャナーが他の場所で何をしたかは既に公開されていました。2024年11月の異なる学校に関する苦情の中で、米国連邦取引委員会は、同じ製品が「報告によると7インチのナイフを検知できず」、その後「学校の職員がシステムの感度設定を上げ、誤報率が50%に達した」と主張しました。論文の言葉を借りれば、つまみを一つのエラーから別のエラーへと動かし、人々がそれを動かしたのです。
2025年9月までに、スキャナーは教育委員会の全高校に設置され、カメラベースのシステムは依然としてそのすべてのキャンパスに設置されたままでした。何も廃止されませんでした。
誤報：ボルチモア郡、9か月後
銃撃事件から9か月後、Omnilertはボルチモア郡のある学校の生徒が武装している可能性があると警告を発した。郡の職員は、「ドリトスの袋のせいで、銃を持った警察官が子どもに近づいた」という経緯を質問した。
メリーランド州教育監察官はその説明を訂正した。このシステムは「青いポテトチップスの袋を脅威として検出しなかった」であり、警告は「学生の手の動き、特にその位置と角度」および「銃に似ている」角度にある物体に基づいていた。この調査はまた以下を発見した：
- このシステムは「毎日数千件の警告を生成」し、そのうち約200件がベンダーのスタッフに到達し、約12件が1日当たり学校システムに到達する
- 15人が10月20日の通知を受け取った
- 学校と警察のスタッフは「直ちに情報を確認し、脅威は無効であると判断」してキャンセルを送信したが、警告プロトコルは「注意の念のためとして説明された」もの「の外」で続行された
- 「検出システムと監視プロトコルは設計されたパラメータ内で機能していた」
この調査は、勤務記録の欠如のため、スタッフ研修が実施されたことを確認できず、各警告を受け取る人数を確認することを推奨した。
2つの別個の記録、1つの原因ではなく
論文は明確です：ナッシュビルとボルチモア・カウンティの記録は別個であり、スキャナーはナッシュビルにのみ追加されており、2つのエラーの共通の原因は主張されていません。それらを結びつけるのは製品とパターンです。
論文の用語における両側誤り
命題P1は、成果ではなく成果物を判断する警備員が同じ期間に偽陰性と偽陽性を生み出すことを述べています。論文はこれらの学校において5つの命題をこのように解釈しています：
- 1つの製品が両方向で誤った（P1）；
- その見落としは2番目の警備員で対応され、理事会がそれをリースすることに投票した（形状ではP3、権限ではステップ8）；
- キャンセルの後もエスカレーションが続いた（P4）；
- 武器を持たない学生が銃を向けられている間、システムはそのパラメータ内で機能した（P5、偽りの勝利）；
- 15人の受取人の任意の1人が対応を再開することができた（P6、人間が座る場所）。
命題P1はまた、両側誤りの病院記録も引用しています：同じコホートにおいて敗血症症例の67%を見落とし、すべての患者の18%でアラートを発した敗血症モデルです。
フロンティアモデルなしのPhysical AI監視
これらのガードのいずれも大規模言語モデルではなく、論文にそう書かれています。二側面エラーは「モデルを必要としません」。重要なのはアーキテクチャです。論文の懸念は、フロンティアモデルが今、同じ形のスタックに配置されており、モデルが変わる定義と追加するのに何もコストがかからないコントロールを追加するということです。
これらのケースは論文の定義の一部を記録しているのであって、全体ではありません。各メカニズムは論文の記録のどこかに記録されていますが、3つの条件がすべて1つのコンポーネントで満たされるのはどのくらいの頻度かは「ここの記録では解決されていません」。
完全なセクション: 学校、病院、グリッド、鉱山 (6.4)、命題 P1 から P6、なぜ身体が問題を変えるのか (6.1)。
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernetsはまた、異なる企業のAIが互いの仕事をチェックするアプリであるPoly A1を構築しています。