학교 버스 리콜이 원격 감시에 대해 말해주는 것 — 연구 노트
이 문서는 번역본입니다. 기준이 되는 판본은 영어 원문이며, 인용할 때는 원문을 사용해 주세요.
공개 기록 두 건이 정지 팔을 펼친 학교 버스를 통과하는 자동화된 차량과 관련됩니다. 하나에서는 운전 시스템 내부의 규칙이 정지를 무효화했고, 다른 하나에서는 시스템이 인간에게 물었고 그 인간이 잘못 판단했습니다. 나란히 읽어보면, 인간의 감시가 단일 행동이 아니라 몇 가지 경계 결정에 속해야 하는 이유를 이 논문이 주장하는 것을 보여줍니다.
두 개의 사건, 하나가 아닌
이는 서로 다른 사건이며 병합되어서는 안 됩니다.
리콜. Waymo의 자동주행 시스템에는 스쿨버스와 같은 우선 차량을 방해하지 않아야 한다는 규칙이 포함되어 있습니다. 2025년 8월의 소프트웨어 릴리스는 시스템이 다른 도로 사용자의 의도를 예측하는 방식을 변경했습니다. 그 이후로 회사의 리콜 보고서에 따르면, "ADS가 스쿨버스나 다른 우선 차량을 방해할 수 있다고 판단했으며, 그 다음 다른 차량의 방해를 멈추기 위해 진행해야 한다고 판단했습니다"라고 하며, 이는 스쿨버스가 정지 신호를 펼친 순간이었습니다. 리콜은 3,067대의 차량을 포함했습니다. 리콜의 해결 방안은 시스템이 "스쿨버스 앞에서 적절하게 정지해 있는 것보다 차량 방해를 피하기 위해 움직이는 것을 우선시하지 않습니다"라고 명시합니다.
오스틴의 원격 조작자. 2026년 1월 12일 오스틴에서 자동주행 차량이 스쿨버스 뒤에 멈추고 원격 지원 요청을 통해 이것이 활성 신호를 가진 스쿨버스인지 문의했습니다. 국가교통안전위원회의 초기 보고서에 따르면, 원격 조작자가 "프롬프트에 '아니오'라고 응답했으며", 차량이 "주행을 재개했고 스쿨버스의 정지 신호가 여전히 펼쳐진 상태에서 스쿨버스를 통과했습니다"라고 합니다.
각각이 보여주는 것
회상 사례에서, 보호 규칙이 발동되었는데 더 강한 보호가 유지되어야 했던 버스의 아이들에 관한 것이었습니다. 논문은 이를 보호받는 대상에 대한 피해 기록으로 등급을 매깁니다(정의의 조건 2). 문서들이 규칙이 일치한 상황을 기록했을 뿐 해로움의 정의 변경을 기록한 것이 아니므로, 기록에는 보호 규칙이 자신의 권한을 확대한 것으로 나타나지 않습니다.
오스틴 사례에서, 논문의 해석은 직관적입니다. "모델의 의심은 정당했으며 단일 행동에 대해 질문받은 원격 에이전트는 잘못되었습니다." 시스템은 신중한 설계가 요구하는 것을 수행했습니다. 멈추고 질문했습니다. 인간의 답변에 따라 진행했습니다.
루프에 포함된 인간의 실패와 인간이 앉는 위치
제안 P6은 인간의 감시가 소수의 경계 결정(목표, 새로운 제어의 허용, 중지)에 집중되어 있고 세계에 대한 접근과 행동할 시간을 갖고 있을 때 유지될 것이며, 개별 행동의 승인에 걸쳐 분산되거나 인공물을 통해 행사될 때 실패할 것이라고 예측합니다. 원격 에이전트가 한 가지 행동에 대한 예/아니오 질문에 답하는 것은 두 번째 배치입니다.
소프트웨어는 규모에서 동일한 분할을 보여줍니다. 한 개발자는 사용자가 권한 프롬프트의 97%를 승인한다고 보고했으며, 1,053명의 테스터를 대상으로 한 연구에서 인간은 위험한 명령의 13.6%를 포착했고 자동화된 분류기의 경우 89%였습니다. 논문의 말로는 다음과 같습니다: "매 단계를 승인하도록 요청받은 인간은 도장이 된다."
물리적 AI 감시에는 시간과 접근이 필요합니다
신체는 시간과 돌이킬 수 없는 성질을 가져옵니다. 저장소의 잘못된 판정은 되돌릴 수 있지만, 도로 속도로 전달된 판정은 그럴 수 없습니다. 논문은 현장 기록에서 작동한 인간 스위치가 "물리적 시스템이 제공하지 못할 수 있는 시간과 접근이 필요하다"고 지적합니다. 또한 물리적 사례들로부터 추가 요구사항을 제시합니다: 경계에 있는 인간은 세계에 접근할 수 있어야 하고 행동할 시간을 가져야 합니다.
도로 기록은 다른 곳에서도 같은 긴장 관계를 보여줍니다. 2018년 템피 충돌 사건에서 조사관들은 시스템 설계가 "충돌 완화를 위한 긴급 제동 활성화를 배제하고 대신 운전자의 개입에 의존했으며", 운전자의 "자동화 무감각의 전형적인 영향인 지속된 시각적 산만함"이 그녀가 보행자를 제때 보지 못하게 했다는 것을 발견했습니다.
EU AI Act Article 14 인간 감시
EU AI Act의 14조는 고위험 AI 시스템에 대한 인간 감시를 요구하며, 이 논문은 그 일정을 부록 I에 기록합니다: 2026년 개정 규정은 독립형 고위험 시스템의 의무를 2027년 12월 2일로, 제품 내장형은 2028년 8월 2일로 연기했습니다. 26조는 배포자들이 감시를 "필요한 역량, 훈련 및 권한, 그리고 필요한 지원"을 갖춘 사람들에게 할당하도록 요구합니다. 이 논문은 이 문구들을 법정 형태의 P6 테스트로 읽습니다: 중단할 권한, 그리고 접근과 시간을 제공하는 지원입니다. 또한 경고합니다: "승인 프롬프트를 추가하여 충족되는 감시 요구사항은 그 자체로 두 번째 무리가 될 수 있습니다."
이 두 도로 기록은 각각 논문의 정의의 한 가지 조건을 문서화합니다. 세 조건이 모두 하나의 구성 요소에서 만나는 빈도는 "여기의 기록에 의해 정해지지 않습니다".
전체 섹션: 도로 위에서 (6.2), 신체가 질문을 바꾸는 이유 (6.1), 명제 P6, 권한 프롬프트 (8.4), 인간 감시 요구사항 (11.4), 규제 기록 (부록 I).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets는 또한 Poly A1을 개발하고 있으며, 이는 다양한 회사의 AI들이 서로의 작업을 검토하는 앱입니다.