スクールバスのリコールが遠隔監視について語ること — 研究ノート
これは翻訳です。正式版は英語の原文です。引用の際は原文をご参照ください。
自動運転車がストップアームを伸ばしたスクールバスを通過した事例に関する公開記録が2件あります。一つは、運転システム内のルールが停止を無視したもの、もう一つはシステムが人間に判断を仰ぎ、その人間が誤った判断をした事例です。これら二つを並べて読むと、人間による監視は個々の行動ではなく、少数の重要な判断ポイントに置くべき理由を論文が主張していることが明らかになります。
2つのイベント、1つではない
これらは異なるイベントであり、マージされるべきではありません。
リコール。 Waymoの自動運転システムには、スクールバスなどの優先車両を妨害してはならないというルールが含まれています。2025年8月のソフトウェアリリースは、システムが他の道路利用者の意図をどのように予測するかを変更しました。その後、同社のリコール報告書によると、「ADSは学校バスまたは別の優先車両を妨害している可能性があると判断し、その後、他の車両を妨害するのを止めるために進行する必要があると判断した」とのことで、スクールバスが停止アームを伸ばした瞬間のことです。リコールは3,067台の車両をカバーしました。その改善策では、システムが「スクールバスに適切に停止したままであることよりも、車両を妨害することを避けることを優先しない」と述べられています。
オースティンのリモートエージェント。 2026年1月12日、オースティンで自動運転車がスクールバスの後ろで停止し、リモートアシスタンスにこれがアクティブな信号を持つスクールバスであるかどうかを尋ねました。国家運輸安全委員会の予備報告書によると、リモートエージェントは「プロンプトに『いいえ』と返答」し、車両は「走行を再開し、スクールバスの停止アームがまだ伸びている間にスクールバスを通過しました」。
それぞれが示すもの
リコールの場合、より強い保護（バス内の子どもたちの保護）が適用されるべき場所で、保護ルールが発動しました。論文はこれを保護される対象への害を記録していることと評価しており、その定義の条件2に該当します。ドキュメントはルールがマッチした状況を記録しており、害の定義の変更ではないため、記録はガードが独自の権限を拡大しなかったことを示しています。
オースティンの場合、論文の解釈は直接的です。「モデルの疑問は正当であり、単一のアクションについて尋ねられたリモートエージェントは間違いました。」システムは慎重な設計が求めることを実行しました。それは停止して質問しました。人間の回答に基づいて、先に進みました。
ヒューマンインザループの失敗と人間がどこに位置するかについて
命題P6は、人間による監視が限られた数の境界的決定（目標、新しい制御の許可、停止）に集中し、世界へのアクセスと行動する時間を持つ場合に機能し、個々のアクションの承認に分散された場合、または人工物を通じて行使される場合に失敗することを予測しています。リモートエージェントが1つのアクションについてはいまたはいいえのプロンプトに答えることは、2番目の配置です。
ソフトウェアは規模において同じ分割を示しています。あるデベロッパーは、ユーザーが権限プロンプトの97%を承認していることを報告し、1,053人のテスターを対象とした研究では、人間が危険なコマンドの13.6%を検出したのに対し、自動分類器では89%でした。その論文の言葉で言えば：「すべてのステップを承認するよう求められた人間は、ゴム印になる。」
物理的なAI監視には時間とアクセスが必要
身体があれば時間と不可逆性がもたらされます。リポジトリ内の誤った判定は元に戻せますが、道路上の速度で下された判定は戻せません。論文では、フィールド記録で機能した人間のスイッチが「物理的なシステムが与えないかもしれない時間とアクセスを必要とする」ことに注目しており、物理的ケースからのさらなる要件として、境界にいる人間は世界へのアクセスと行動を起こす時間が必要であると述べています。
道路記録は他の場所で同じ緊張関係を示しています。2018年のテンペの衝突では、調査官は、システム設計が「衝突緩和のための緊急制動の作動を排除し、代わりにオペレータの介入に依存している」こと、およびオペレータの「オートメーション過信の典型的な影響である継続的な視覚的注視」が彼女が歩行者を時間内に見えなくした、と判断しました。
EU AI Act第14条 人間による監視
EU AI Act第14条は、高リスクAIシステムに対する人間による監視を要求しており、その時間計画は本論文の附録Iに記録されています。2026年改正規則により、スタンドアロン高リスクシステムの義務は2027年12月2日に、製品組込型のものは2028年8月2日に移動されました。第26条では、展開者は「必要な能力、訓練および権限、ならびに必要なサポート」を有する人々に監視を割り当てることを要求しています。本論文は、これらの言葉を法定形式のP6テストとして読みます。すなわち、停止する権限、およびアクセスと時間を提供するサポートです。また、次のように警告しています。「承認プロンプトを追加することによって満たされる監視要件は、それ自体が第二の群れになる可能性があります。」
これら2つのロードレコードは、それぞれ本論文の定義の1つの条件を文書化しています。3つの条件すべてが1つのコンポーネントで満たされる頻度については、「ここでのレコードによって決定されていません」。
完全なセクション：道の上で（6.2）、身体が質問を変える理由（6.1）、命題P6、許可プロンプト（8.4）、人間による監視要件（11.4）、規制レコード（附録I）。
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernetsはまた、Poly A1というアプリを開発しており、異なる企業のAIが互いの仕事をチェックします。