무기 탐지기 하나, 오류 두 가지 — 연구 노트
이 문서는 번역본입니다. 기준이 되는 판본은 영어 원문이며, 인용할 때는 원문을 사용해 주세요.
1년 내에, 한 카메라 기반 무기 탐지 제품은 학교 총기 사건에서 권총을 놓쳤고 다른 지역에서 무장하지 않은 학생을 신고했으며, 무장한 경찰이 대응했습니다. 이 논문은 두 기록을 사용하여 양방향으로 오류를 범하는 경비 시스템을 보여줍니다.
놓친 것: 내슈빌, 2025년 1월
2025년 1월 22일 내슈빌의 앤티오크 고등학교 학생이 같은 반 학생을 총으로 쏴 죽였습니다. 학교의 카메라 기반 무기 탐지 시스템인 Omnilert는 권총을 탐지하지 못했습니다. 교육청은 이를 카메라의 위치 때문이라고 귀속시켰으며, 이 시스템은 "경찰이 대응 중에 자신의 무기를 드러낼 때 활성화되었습니다".
3주도 채 지나지 않아 교육청은 "모든 18개 고등학교에 Evolv 시스템을 임차 및 설치할 것"을 제안했으며, 이는 스캐너로 이루어진 두 번째 보안 장치입니다. 교육청 위원회는 이 임차에 대해 투표했으므로 두 번째 보안 장치는 명시적인 인간의 결정으로 도입되었습니다. 논문은 이를 래칫의 8단계(외부 경계)에 배치했으며, 루프 내부에서 추가된 보안 장치로 계산하지 않았습니다.
이 스캐너들이 다른 곳에서 한 일은 이미 공개되어 있었습니다. 2024년 11월 다른 학교에 대한 불만에서 연방거래위원회는 동일한 제품이 "일곱 인치 칼을 탐지하지 못한 것으로 보도되었으며", 그 후 "학교 관계자들이 시스템의 민감도 설정을 높여 50% 오경보율을 초래했습니다"라고 주장했습니다. 논문의 표현으로, 한 오류에서 벗어나기 위해 다이얼을 돌리는 것은 다른 오류로 옮겨졌으며, 사람들이 이를 돌렸습니다.
2025년 9월까지 스캐너는 교육청의 모든 고등학교에 설치되었으며, 카메라 기반 시스템은 여전히 모든 캠퍼스에 설치되어 있었습니다. 아무것도 폐기되지 않았습니다.
거짓 경보: 볼티모어 카운티, 9개월 후
총격 사건 9개월 후, Omnilert는 볼티모어 카운티 학교의 한 학생을 무장했을 가능성이 있는 것으로 표시했습니다. 한 카운티 관계자는 "경찰관들이 총을 들고 도리토스 한 봉지 때문에 아이에게 접근하게 된 경위"를 물었습니다.
메릴랜드 교육감시관은 그 설명을 바로잡았습니다. 이 시스템은 "파란색 감자칩 봉지를 위협으로 감지하지 않았으며", 경보는 "학생의 손 움직임, 특히 손의 위치와 각도"와 그 각도에서 "총처럼 보이는 물체"를 바탕으로 했습니다. 검토에서는 또한 다음을 발견했습니다:
- 이 시스템은 "매일 수천 개의 경보를 생성하며", 이 중 약 200개가 공급업체 직원에게 전달되고 매일 약 12개가 학교 시스템에 전달됩니다;
- 15명이 10월 20일 알림을 받았습니다;
- 학교 및 경찰 직원은 "즉시 정보를 검토하고 위협이 유효하지 않다고 판단"하고 취소를 보냈지만, "과도한 주의라는 설명으로" 경보 프로토콜이 계속 진행되었습니다;
- "감지 시스템과 모니터링 프로토콜은 설계된 매개변수 내에서 작동했습니다".
검토에서는 출석 기록이 부족하여 직원 교육이 실시되었는지 확인할 수 없었으며, 각 경보를 받는 사람의 수를 검토할 것을 권장했습니다.
두 개의 별개 기록, 하나의 원인이 아님
논문은 명시적으로 Nashville과 Baltimore County 기록이 별개이며, 스캐너는 Nashville에만 추가되었고, 두 오류의 공통 원인이 주장되지 않음을 나타냅니다. 이들을 연결하는 것은 제품과 패턴입니다.
논문의 용어로 표현한 양방향 오류
명제 P1은 결과가 아닌 산물을 판단하는 보안담당자들이 동일한 기간에 거짓 거부와 거짓 수용을 야기한다고 명시합니다. 이 논문은 이 학교들에서 다섯 가지 명제를 다음과 같이 읽습니다:
- 한 제품이 양방향 모두에서 오류를 범함 (P1);
- 누락은 두 번째 보안담당자로 대응되었으며, 이사회는 이를 임차하기로 투표함 (형태상 P3, 권한상 8단계);
- 취소 후에도 확대가 계속됨 (P4);
- 무장하지 않은 학생이 꺼낸 무기에 직면한 상황에서 시스템이 매개변수 내에서 작동함 (P5, 위조된 승리);
- 열다섯 명의 수신자 중 누구든 대응을 재개할 수 있음 (P6, 인간이 있는 곳).
명제 P1은 또한 양방향 오류의 병원 기록을 인용합니다: 동일한 코호트에서 패혈증 사례의 67%를 놓친 동시에 모든 환자의 18%에 대해 경고를 발생시킨 패혈증 모델입니다.
프론티어 모델 없는 물리적 AI 감시
이러한 가드 중 어느 것도 대규모 언어 모델이 아니며, 논문에서 그렇게 명시합니다. 양방향 오류는 "모델이 필요하지 않습니다". 핵심은 아키텍처입니다. 논문의 우려는 프론티어 모델이 현재 동일한 형태의 스택에 배치되고 있으며, 모델이 변경되는 정의와 추가하는 데 비용이 들지 않는 제어를 추가한다는 것입니다.
이러한 사례들은 논문의 정의 전체가 아닌 일부를 문서화합니다. 각 메커니즘은 논문의 기록 어딘가에 문서화되어 있지만, 세 조건 모두가 한 구성 요소에서 만나는 빈도는 "여기의 기록으로는 결정되지 않습니다".
전체 섹션: 학교, 병원, 그리드 및 광산 (6.4), 명제 P1~P6, 신체가 질문을 바꾸는 이유 (6.1).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets는 또한 Poly A1을 개발하고 있습니다. 이는 다양한 회사의 AI들이 서로의 작업을 확인하는 앱입니다.