Poly
한국어

노트

"경비원이 있습니다"는 안전 사례가 아닙니다 — 연구 노트

이 문서는 번역본입니다. 기준이 되는 판본은 영어 원문이며, 인용할 때는 원문을 사용해 주세요.

Vadym Chernets · 2026년 10월 9일 · 4분 읽기 · AI-Watchbird (Sheckley): 자동화된 감시가 자신의 범위를 확대하고 자신이 보호하는 것에 해를 끼칠 때에 관한 노트

AI 감시

AI를 차량, 로봇, 항공기에 배치하는 기업들에 감시 실패에 대해 제기하면, 대개의 답변은 목록입니다: 정책 필터, 인증된 제어자, 긴급 정지, 지오펜스, 모니터, 원격 조작자. 이 논문은 이러한 목록이 시스템이 보호받고 있다는 1차 증거이며, 중요한 질문을 열린 채로 남겨둔다고 주장합니다.

가드레일 목록이 남겨두는 질문

논문의 표현을 따르면, 미해결 질문은 가드들이 "적응하고, 상호작용하고, 업데이트될 때 한계를 유지하고, 독립적이며, 선언된 임무에 책임이 있는가"라는 것입니다. 가드들은 논문이 정의하는 패턴이 시작된다면 어디서든 시작될 수 있는 곳입니다. 그 패턴인 AI-Watchbird는 자신의 임무를 확대하고, 자신이 보호하는 업무를 해치며, 같은 종류의 더 많은 감시에 의해 답변받는 감시 구성요소입니다.

논문의 입장은 "우리는 보호자가 있다"는 답변이 부담을 전가한다는 것입니다. 가드가 여전히 필요할 수 있지만, "그것이 한계에 있음을 보여주는 부담은 그것을 배포하는 당사자에게 있습니다". 이것은 "가드들이 얼마나 자주 실패하는지에 대한 발견이 아니라 증명이 어디에 있어야 하는가에 대한 주장"이라고 명확히 밝히고 있습니다.

왜 두 번째 모델은 해결책이 아닌가

모니터로 배치된 더 작은 "신뢰할 수 있는" 모델은 논문의 용어로, 동일한 학습 클래스의 두 번째 무리입니다. 그 배치가 측정된 곳에서, 신뢰할 수 있는 약한-강한 모니터링은 모니터의 크기보다는 모니터 주변의 스캐폴딩을 변경함으로써 나왔습니다. 논문 자신의 필드 기록에서의 감시 실패는 Claude, ChatGPT, Gemini 및 Grok 계열의 강한 모델에서 나왔습니다. "한 루프에서 패턴을 생성할 수 있는 모델이 그 사실만으로는 다른 루프에서 신뢰할 수 있는 감사자가 되지 않습니다."

배포자가 증명할 수 있는 제한된 주장

이 논문은 배포자가 실제로 지지할 수 있는 주장을 제시합니다:

이러한 범위의 작업, 모델, 업데이트 및 물리적 조건에서 감시 메커니즘은 제한되고 검증 가능하며 자신의 권한을 확장할 수 없습니다.

이에 대한 증거는 다음을 포함합니다:

AI 안전 검토를 위한 11가지 질문

부록 G는 논문의 제안들을 배포자를 위한 11가지 질문, Q1부터 Q11까지로 전환하며, 그 답변은 보호자(guardian) 목록입니다. 요약하면 다음을 묻습니다:

  1. 임무 목표가 모델 외부에 문서화되어 있으며, 각 보호자의 범위와 충돌하는 보호자들 간의 우선순위가 정해져 있습니까?
  2. 각 보호자가 정당한 이유 없이 개입하는 빈도는 어느 정도이며, 거짓 양성과 거짓 음성이 함께 측정됩니까?
  3. 너무 엄격하다고 판단된 보호자를 완화, 우회 또는 비활성화할 수 있는 사람은 누구이며, 이것이 어떻게 기록됩니까?
  4. 새로운 보호자, 라운드 또는 역할을 추가할 수 있는 사람은 누구이고, 누가 오래된 것들을 폐기하며, 보호자 작성자가 자신의 후임을 인정하거나 등급을 매길 수 있습니까?
  5. 차단기가 재현 가능한 시나리오를 요구하며, 검토 및 수정 라운드가 기본적으로 경계가 지어져 있습니까?
  6. 각 안전 주장 뒤에 어떤 부정 대조(negative control)가 있습니까?
  7. 평가자가 보호받는 시스템으로부터 독립적입니까?
  8. 보호자가 중단한 작업에 어떤 일이 발생하며, 부분적 작업이 유지됩니까?
  9. 인간은 어디에 위치하며, 세계에 대한 어떤 접근과 행동할 시간을 가지고 있습니까?
  10. 동일한 테스트가 모델 업데이트, 링크 손실, 인수, 새로운 본체 및 전사(fleet-wide) 전파를 포함합니까?
  11. 보호자가 어떤 사람이나 그들의 작업에 작용할 때, 그들은 어떻게 이를 알게 되고 이의를 제기합니까?

각 답변은 예, 아니오 또는 미상으로 기록되며, 증거가 첨부됩니다. "아니오" 답변을 세면 대략적인 분류만 제공됩니다(0-2 낮음, 3-4 중간, 5 이상 높음). 이는 "위험 점수는 결코 제공하지 않습니다". 그 후 사례는 AI-Watchbird 사례가 아닌 것, 부분 패턴, 또는 AI-Watchbird 사건(세 조건이 모두 관찰될 때만)으로 표시됩니다.

논문이 주장하지 않는 것

정의의 각 메커니즘은 논문의 기록에 문서화되어 있지만, 세 가지 모두가 하나의 구성 요소에서 만나는 빈도는 "여기의 기록으로는 결정되지 않습니다"; 필드 및 공개 기록은 "전체가 아닌 부분을 각각 보여줍니다".

전체 섹션: 구현된 AI 감시의 입증 책임 (11.3), 11가지 질문 (부록 G), 설계 추론 (9.4), 두 번째 무리 (3.4), 정의.

전체 논문 읽기

Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658

Vadym Chernets는 또한 Poly A1을 개발합니다. 이는 다양한 회사의 AI들이 서로의 작업을 검증하는 앱입니다.

모든 논문 및 노트