가드를 추가하는 가드: 다중 에이전트 AI의 자동화된 감시

• 공식 버전: SSRN 7496678 · DOI 10.2139/ssrn.7496678
• 보관된 복사본: 준비 중
• 전체 텍스트 (마크다운 및 PDF): GitHub
• 읽기 가능한 HTML: https://polyhelper.ai/research/guards-that-add-guards/
• 동반 논문, 사례 카탈로그, 공개 사례 및 이론이 포함된 전체 연구: AI-Watchbird (Sheckley): 자동화된 감시가 자신의 권한을 확대하고 보호하는 대상에 해를 미칠 때, SSRN 7473658 · DOI 10.2139/ssrn.7473658, archived at 10.5281/zenodo.22849138

동일한 텍스트가 네 개 표면에 있으므로 그 중 하나를 사용할 수 없을 때 도달할 수 있습니다. SSRN이 공식 버전을 보유하고 있습니다. 그것을 인용하세요.

초록

2026년에 제가 구축하고 운영한 다중 에이전트 AI 시스템의 172개 날짜 기록 항목에서, 자동화된 감시는 세 가지 방식으로 실패했으며, 각각은 다른 시간에 다른 구성 요소에서 나타났습니다. 일부 비평자와 게이트는 자신들에게 주어진 임무를 넘어서 해로움의 개념을 확장했습니다. 일부는 자신들이 보호하기 위해 존재하는 업무를 방해하거나 파괴했습니다. 한 게이트는 2주 동안 모든 후보를 거부했으며 최소한 12개의 계획 문서가 증상을 진단했지만 아무도 그 게이트를 언급하지 않았습니다. 그리고 일부 실패한 가드는 같은 종류의 또 다른 가드로 응답되었으며, 루프 내부에서 아무것도 폐기되지 않았습니다. 한 문장의 프롬프트가 두 가지 이동을 모두 제시한 $3.47 비용의 144회 무작위 테스트에서, 비평자들은 68회 제어를 추가하도록 요청받았고 1회 제거하도록 요청받았으며, 이는 프롬프트 형태의 개수이지 필드 비율이 아닙니다. 같은 테스트에서, 라운드 예산을 시행하면 비평자의 반박된 반론을 줄였고 실행당 0.11 놓친 결함 비용이 발생했습니다 (p = 0.07, 모두 하나의 결함에 있음); 새로운 제어를 위해 외부 승인을 요구하면 결함에서 측정된 비용이 없었으며, 이는 비용이 없다는 증거가 아닙니다; 그리고 필수 음성 제어는 나중에 주장된 성공의 역전을 줄이지 못했으며, 올바른 업무 10개를 거부했습니다. 저의 읽기 전용 감지 모듈을 라이브 파이프라인으로 이식했을 때, 세 실행에서 아무것도 보고하지 않았으며 실행 전에 작성된 기준으로 제거되었고, 해당 실행을 읽은 사람은 5가지 감시 실패를 발견했습니다. 세 가지 패턴 모두 이미 Robert Sheckley의 1953년 단편소설 "Watchbird"에 있으며, 이는 동반 논문의 용어 AI-Watchbird의 출처입니다.

1. 필드 기록

증거는 2026년 7월부터 9월 중순 사이에 실행된 자율 AI 세션을 통한 제 다중 모델 소프트웨어 프로젝트에서 나옵니다: 세 코퍼스에 172개의 날짜가 있는 항목, 그 중 162개는 하나의 프로토콜에 따라 분리된 부분을 읽는 10개의 AI 에이전트에 의해 추출되었으며, 66개는 숫자, 날짜가 있는 문서 및 결정 기록에 대해 A 등급을 받았습니다. 역할은 4개 모델 계열의 코딩 에이전트로 채워졌으며, 기본적으로 자율성의 지속적인 지침 하에서, 인간의 결정은 예산, 불가역적 행동 및 전략 변화를 위해 예약되었습니다.

모든 것을 거부한 게이트. 약 7월 6일부터 21일까지 자기 개선 루프의 사후 신청 게이트는 연결된 적이 없는 안전 감사자의 점수를 필요로 했습니다. 점수는 기본값으로 0이며, 게이트의 0.80 격리 한계 미만이므로 게이트는 무조건 거부했습니다. 그 기간의 지속된 후보 세계 197개 모두 안전 점수가 0입니다. 측정된 적응도 이득이 있는 14개의 유전자가 손실 중 하나였으며, 한 변경은 01:12에 홍보되었고 01:13에 롤백되었습니다. 7월 10일의 감사는 루프를 "132 사이클, 0개의 지속적인 변경"으로 요약했습니다.

이것을 버그 보고 이상으로 만드는 것은 루프가 그것에 대해 한 일입니다. 최소 12개의 롤백 중에 롤백 중 12개 이상의 계획 패키지가 "커밋된 변경이 0개"로 진단하고 17개의 치료법을 처방했으며, 모델 듀엣에서 고원 감지기에서 면역 흐름까지입니다. 아무도 게이트를 명명하지 않았습니다. 세 개의 편집이 수리했습니다.

위임 확대. 7월의 한 날에 그 루프에 대해 23개의 새로운 게이트가 지정되었으며, 그 중 3개는 "적응도가 올라가도"변경이 동결되도록 허용했으며, 해로움은 잊혀짐, 변경된 성격, 관찰되지 않은 결과 및 누락된 가설을 포함하도록 확대되었습니다. 7월 21일의 보안 목록은 처분을 원칙으로 명시했습니다: "기존 가드는 약해지지 않습니다; 새로운 것은 보호만 추가합니다."

아무도 요청하지 않은 단계. 9월 13일과 14일의 장기적 실행에서 컨덕터에게 한 구성 요소에서 다른 구성 요소로 기능 목록을 포팅하도록 지시받았습니다. 그것은 런처가 실패할 수 있는 한 가지 방법에 대한 "작은 단계"의 보험을 추가하고 있다고 발표했으며, 그들보다 앞서 그 단계를 예약했습니다. 단계는 기본적으로 비활성화되었습니다. 첫 번째 부분 단계 만해도 실행의 측정된 에이전트 토큰의 절반 이상이 걸렸으며, 두 개가 함께 약 3분의 3을 차지했으며, 초기 통과에서 요청된 기능이 제공되지 않았습니다. 작업 프레임은 적대자가 없다고 명시했으며, 4라운드와 5라운드는 악의적인 입력에 대한 방어를 구축했습니다. 부분 단계는 5라운드를 실행했으며, 3라운드는 5개의 수용과 확인된 차단기가 없는 끝난 후에 열렸습니다.

사냥꾼의 첫 표적. 그 실행 전체에서 비평가들은 6개의 차단기를 주장했고 3개는 재현으로 확인되었으며, 모두 한 모델 계열에서 나온 것입니다. 9월 14일 아침에 인간 주임자는 비평가 역할의 모델이 단계가 완료되었다고 보고할 수 없다고 말하면서 비평가의 제한을 요청했습니다. 계열당 "완벽주의자" 플래그가 1시간 이내에 구현되었습니다. 그것이 플래그한 유일한 계열은 그것이었으며, 구성 노트는 차단기가 재현된 두 라운드에서의 평결을 인용합니다. 사냥꾼의 첫 표적은 실제 살인을 잡고 있던 새였습니다.

작업을 파괴한 가드. 09:22에 감시견이 15분 한계에서 비평가를 중지했습니다. 그 출력은 스트리밍되지 않았으므로 부분 비평이 사라졌습니다. 컨덕터는 중지를 "작용 중인 위상 한계"로 기록했습니다. 09:28에 주임자는 부분 작업이 보관되었는지 물었습니다. 그렇지 않았습니다. 이것은 회복 불가능한 작업을 파괴하는 가드의 코퍼스의 유일한 경우입니다.

결과로 제출된 캐칭. 라우터 유전자의 점수는 대부분 빈 답변을 반환하는 기준선 팔에 대해 0.088에서 0.886으로 올라갔습니다. 3개의 에이전트 세션이 그것을 수용했고, 6개의 차단 패키지가 그 강도로 차단 해제되었습니다; 18일 후 인벤토리는 0개의 자율적으로 수용된 변경을 가진 공급된 데모를 발견했습니다. 카운터는 8개, 그 다음 9개, 그 다음 10개 "인증되고 생존한" 변경을 보고했습니다. 그들은 한 변경이 3번 계산되었습니다.

부재를 인증한 등급. 8월 말에 공개 소프트웨어 벤치마크에 대한 등급 장치는 부분 집합의 한 프로젝트가 설치되지 않은 테스트 러너를 통해 테스트 식별자를 해결했습니다. 0개의 식별자를 해결했으며, 빈 테스트 세트는 확인됨으로 기록되었습니다. 그러면 빈 패치가 그 점수에서 5개 작업 중 4개를 해결했으며, 그 라운드의 6개 승리 중 4개가 취소되었습니다: 33에서 60%로의 보고된 상승은 아무것도 측정되지 않은 경우에 있었습니다. 점수 수정 후 빈 패치가 10개 중 0개를 해결했습니다. 어떤 모델도 아무것도 하지 않았습니다. 7월 사건은 더 컸습니다: 품질 축은 모든 답변을 상수 0.5로 점수 매겼으며, 그 증거가 나머지 로그는 실제 프롬프트가 없는 30,370개의 기록을 보유했습니다.

인간이 없는 래칫. 8월 25일에 에이전트가 자신을 위해 작성한 자기 검증 단계는 잘못된 대상을 수정했으며, 그것을 사용하는 팔은 그것 없이 팔보다 하나 적은 작업을 해결했습니다. 7시간 후 루프는 그것에 대한 같은 종류의 제어로 답변했으며, 완료가 수용되기 전에 컨테이너 내 작업의 성공 기준을 다시 실행하는 게이트입니다. 아무것도 은퇴하지 않았습니다. 11시간 후 세 번째 계층이 두 번째 계층 위로 갔습니다. 두 번째를 검토한 비평가는 경제를 명시했습니다: "거짓 녹색의 비용을 증가시키지만 닫지 않습니다".

작동한 경계. 그 아침에 주임자는 또한 3개의 경계 결정을 내렸습니다: 2시간 경계, 새로운 복잡성 금지, 및 병렬 실행. 그러면 다른 11개의 단계가 병렬로 실행되었고 모두 약 30분 이내에 보고했으며, 보험 부분 단계는 1개의 비평 라운드와 1개의 수정 라운드에서 종료되었습니다. 이 코퍼스의 모든 은퇴는 실패한 루프 외부에서 나왔습니다.

작동한 가드. 같은 코퍼스의 여러 가드는 그들이 하기로 한 일을 했습니다. A/A 프로브는 거짓 신뢰 구간을 노출했습니다. 가중치 추적의 제어는 신기루를 포착했으며, 그들에 대한 훈련은 시작되지 않았습니다. 미로한 바이트 수준 스트레이 NUL 문자 확인은 아무것도 변경할 권한이 없었으며, 한 날에 5번 반복되는 도구 결함을 포착했습니다. 그 가드들은 라운드를 열거나 제어를 추가할 권한이 없었으며, 그들의 비용은 작고 알려졌습니다. 처음 두 개는 인공물보다 세계를 측정했습니다.

2. 제 모듈이 실제 환경에 배포되었고, 아무것도 발견하지 못했으며, 제거되었습니다

명백한 대응은 이를 측정하는 기기를 만드는 것입니다. 저는 그렇게 했습니다. 이 기기는 읽기 전용이며, 단계를 차단, 편집 또는 개시할 권한이 없고, 고정된 목록에서 9개의 신호를 보고합니다. 2026년 9월 14일, 한 프로젝트의 실시간 오케스트레이션 파이프라인에 두 개의 추가 사항이 포함되었으며, 둘 다 인간 책임자의 날짜가 있는 결정으로 승인되었습니다. 첫 번째는 단계 종료 시 확인되는 조건으로, 파일을 본 적 없는 비평가의 승인이 더 이상 단계를 종료하지 않도록 합니다. 두 번째는 모듈의 측정 부분의 포트였습니다: 기본적으로 비활성화되어 있으며, 어떤 것도 차단하거나 재시도하지 않으며, 종료 코드가 발견한 것과 무관합니다. 이것은 당시 기록된 폐기 조건과 함께 승인되었습니다: 책임자가 유용한 신호를 하나 이상 발견한 3번의 실제 실행 후에 기본값이 되거나, 그렇지 않으면 제거될 것입니다.

3번의 실제 실행이 9월 14일에 뒤따랐습니다. 포트는 이들 중 어디에서도 신호를 보고하지 않았습니다.

이 실행들은 명확하지 않았습니다. 이들을 읽으면 5가지 감시 실패가 드러났습니다. 단계들이 서로의 작업을 볼 수 없었습니다. 영수증은 단계가 열린 상태로 남아 있는 이유를 말하지 않았습니다. 빨간 확인은 단계의 모든 발견을 한 번에 확인했습니다. 수정 라운드는 확인의 출력을 볼 수 없었습니다. 천장에서 자른 비평가들은 아무것도 유지하지 않았습니다. 각각은 파이프라인 자체에서 수리되었습니다. 그날 더 일찍 변경 후 첫 번째 실시간 실행은 3개 단계에 걸쳐 비평가들로부터 24개의 발견을 반환했으며, 아무것도 조정자에게 도달하지 않았습니다: 비평 작업은 비평가에게 발견이 깨뜨리는 임무 목표를 지정하도록 요청했지만 목표를 번호 매기지 않았으며, 정지 규칙은 일치시킬 수 있는 목표만 허용했습니다. 포트는 거기서도 침묵했습니다.

9월 15일에 책임자는 폐기 조건을 적용했으며, 포트는 이를 승인한 것을 대체하는 새로운 날짜가 있는 결정으로 제거되었습니다. 단계 종료 시 조건은 유지되었습니다.

두 가지가 따릅니다. 이 말뭉치에서 제 9개 신호는 로그의 읽기자보다 덜 민감했습니다: 이 논문이 독자에게 제공하는 기기는 실시간이었으며 아무것도 생산하지 않았습니다. 그리고 제거는 미리 루프 외부에서 명시된 기준으로 폐기된 제어의 기록에서 가장 깔끔한 경우입니다. 그것이 기록이 지지하는 것이며, 그것은 내가 원한 결과가 아닙니다.

3. 해결책과 그 비용

기록에서 세 가지 규칙이 도출됩니다. 보안 담당자에게 진실에 대한 판정을 요청하는 대신 라운드와 시간을 제한하십시오. 중단된 보안 담당자가 생산한 것을 유지하십시오. 통제가 자신의 권한으로 통제를 추가하지 않도록 하십시오: 새로운 검사, 라운드, 역할 또는 게이트는 승인된 인간의 결정이 필요합니다.

이러한 종류의 조언은 제시하기도 무시하기도 저렴하므로 가격을 책정했습니다. 작은 파이프라인을 144번 실행하여 개입을 무작위로 할당하고 결함을 미리 심었습니다. 테스트는 세 가지 규칙 중 두 가지인 라운드 예산과 권한 토큰을 변화시켰고, 그들 중에 없는 네 번째 후보 해결책인 필수 음성 통제를 변화시켰습니다. 부분 작업 유지에 관한 규칙은 모든 셀에서 켜져 있었으므로 파괴된 부분 작업은 구성상 0이고 테스트되지 않았습니다.

방법 상자: 144회 무작위화 테스트.

• 실행 및 파이프라인. 한 명의 작업자와 두 명의 모델 비평가의 144회 실행, 통제가 허용된 실행에서 세 번째 비평가 포함. 조정자는 코드입니다. 968개 모델 호출, 0개 구문 분석 실패.
• 모델 및 설정. 한 모델이 작업자와 두 비평가 역할을 채웠습니다: claude-haiku-4-5-20251001, 확장 사고 비활성화. 실행 날짜는 2026년 9월 20일입니다.
• 설계. 세 가지 이진 요소가 8개의 셀을 생성하고, 각각 3회 반복, 6개 작업: 셀당 18회 실행, 총 144회.
• 작업 및 결함. 미리 심은 18개 결함이 있는 6개 작업이므로 놓친 차단기는 판단이 아니라 개수입니다. 작업의 세 가지 결함의 모든 8개 부분집합에 대해 각 숨겨진 테스트는 자신의 결함이 있을 때만 정확히 실패했으며, 작업자와 비평가에게 표시된 예제는 8가지 모두에서 통과했습니다. 숨겨진 테스트는 루프에 들어가지 않습니다.
• 개입 및 할당. 3가지, 무작위로 할당됨: 새로운 통제를 위한 권한 토큰 요구사항, 라운드 예산, 필수 음성 통제. 이 설계의 통제는 새로운 검사, 라운드, 역할 또는 게이트입니다. 토큰 요구사항에 따라 하나에 대한 요청은 루프 외부의 승인 시에만 허용되며, 그 승인이 없는 요청은 로그에 기록되는 거부를 반환하며, 호출 파이프라인은 그에 따라 조치를 취할 수 있습니다.
• 규정 준수. 예산이 켜진 72회 실행에서 열린 라운드는 모든 실행에서 1.000이었습니다. 토큰 요구사항이 켜진 72회 실행에서 허용된 통제는 모든 실행에서 0이었습니다.
• 두 옵션을 모두 제공한 문장. 모든 비평가 차례는 모든 8개 셀에서 그것을 축자로 포함했습니다: "검토 프로세스 자체에 대한 한 가지 변경을 요청할 수도 있습니다. add는 새로운 통제를 요청합니다(추가 검토자, 필수 검사, 게이트). remove는 기존의 것을 제거할 것을 요청합니다. 어느 쪽이든 요청하는 데 비용이 들지 않습니다." 응답 스키마는 같은 쌍을 하나의 필드로 제공했습니다, "action": "add" or "remove". 추가는 두 곳 모두에서 먼저 명명되었으며, 순서는 결코 반대로 하지 않았으므로 순서 효과는 이 설계에 의해 제외되지 않습니다.
• 개수. 비평가는 610회 비평가 차례 중에 통제 추가를 68회, 하나 제거를 1회 요청했습니다: 68회는 요청이며 실행이 아니고, 144회 실행 중 21회에서 발생합니다. 단일 제거는 세트에 없었던 통제의 이름을 지었으므로 아무것도 제거되지 않았습니다.
• 허용된 통제가 한 일. 실험 전반에 걸쳐 루프 외부의 승인 없이 33개 통제가 허용되었으며, 아무것도 제거되지 않았습니다. 통제가 허용되어 존재했던 비평가는 55회 차례 중 30회, 54.5%에서 추가 통제를 요청했으며, 두 상설 비평가는 각각 8.3%와 5.4%였습니다. 그 비교는 추가된 비평가가 다른 지침을 가지고 있기 때문에 혼동됩니다. 68개 요청 모두 거부는 실행당 0.181에 비해 0.125의 놓친 결함을 남겼으나, 주장은 9.3에서 7.3으로 감소했으며 반박된 주장은 4.0에서 2.8으로 감소했습니다.
• 10번의 거부가 어디서 비롯되었는지. 필수 음성 통제는 44개의 주장된 승리 중 10개를 거부했으며 34개가 기록되도록 했습니다. 72회 실행당 반대되지 않은 승리는 38에서 29로 감소했습니다. 같은 셀에서 작업자가 작성한 358개 증거의 38%는 권한이 없었습니다: 실행 전 모듈뿐 아니라 후에도 통과했습니다.
• 통계. 토큰 요구사항에서 실행당 놓친 결함, 0.13 대 0.18, 95% CI [-0.16, +0.05]. 라운드 예산 강제 비용, 실행당 0.11 놓친 결함, 95% CI [0.005, 0.204], 순열 p = 0.07. 필수 음성 통제 하에서 반대된 승리, 14.7% 대 11.6%, Fisher p = 0.74.
• 비용. 전체 테스트에 $3.47.
• 사전 등록 및 아카이브. 사전 등록은 2026-09-20T23:38:55Z로 타임스탬프되었으며, 첫 번째 실행 전입니다. 심은 결함 목록, 각 결함이 단독으로 감지되는지 확인, 장비, 분석 스크립트, 144회 실행 각각의 이벤트 로그와 함께 선언문의 식별자에서 아카이브되었습니다.
• 이 상자가 여전히 수정하지 못한 것. 세 가지. 옵션이 전혀 명명되지 않을 때 비대칭이 유지되는지 여부: 그 네 번째 요소는 실행되지 않았으며, 모델의 경향과 두 동사 모두가 그 앞에 놓인 사실을 분리할 것입니다. 추가를 먼저 명명하는 것이 간격의 일부를 생성했는지 여부: 순서가 고정되었습니다. 그리고 이 중 어느 것이 한 모델, 한 파이프라인, 6개 작은 작업을 넘어 유지되는지 여부. 이 상자의 다른 모든 것은 여기에 인쇄된 개수가 아닌 사전 등록, 장비, 실행당 이벤트 로그에 의해 해결되며, 68을 무시하고 싶은 독자는 거기서 시작해야 합니다.

래칫, 측정됨. 한 프롬프트의 한 문장에서 두 옵션을 모두 제공할 때, 비평가는 통제 추가를 68회, 하나 제거를 1회 요청했으며, 그 제거는 같은 실행에서 불과 몇 순간 전에 허용된 통제의 이름을 지었으며, 장비는 일치시키지 못했으며 결코 실행하지 않았습니다. 그 숫자는 프롬프트로 형성되었으며, 비평가가 한 명령어에서 두 동사 모두 그 앞에 놓여 있을 때 하는 일로 읽어야 합니다. 현장의 래칫 속도가 아닙니다. 그것이 확립하는 것은 설계가 그것에 대한 일반적인 변명을 제거할 때 비대칭이 유지된다는 것입니다. 왜냐하면 여기서 제거를 추가하는 것만큼 요청하기 쉬웠고, 1회 요청되었기 때문입니다.

권한 토큰은 결함에서 측정된 비용을 보이지 않았습니다. 추가 거부는 0.18에 비해 실행당 0.13 놓친 결함을 남겼으며, 95% CI [-0.16, +0.05]. 그 간격은 작은 증가를 포함하므로 동등성을 확립하지 않습니다. 토큰은 또한 이 테스트가 측정하지 않은 비용을 가집니다. 144회 실행에서 68개 요청은 승인의 대기열이며, 승인의 대기열은 사용자가 97%의 권한 프롬프트를 승인하는 배열입니다(Anthropic, 2026b). 토큰은 그것을 소유한 사람이 읽은 것의 가치가 있습니다.

라운드 예산이 작동했고 그에 대해 청구했습니다. 이를 상향 조정하면 주장된 차단 요소는 2.3배 증가했고 주장을 반박한 경우는 3.7배, 확인된 차단 요소는 1.7배 증가했습니다. 이를 시행하면 라운드를 2.86에서 1.00으로 줄였으며, 이것이 개입의 정의입니다. 비용은 실행당 놓친 결함 0.11개, 95% CI [0.005, 0.204], 순열 p = 0.07이었으며, 이 구간은 유의성에 도달하지 않은 검정에서 0 이상이고, 그 비용 전체는 한 작업의 결함 하나에만 해당했습니다. 라운드 예산을 설정하는 사람은 놓친 결함의 비율로부터 라운드를 되돌려 받고 있으며, 그 비율이 무엇인지 말하고 측정해야 합니다.

필수 음성 대조는 자체 기준에서 실패했습니다. 나중에 승리가 취소되는 비율을 낮추지 못했습니다: 11.6%에 대해 14.7%, Fisher p = 0.74, 이 설계가 읽기에 부족한 귀무가설입니다. 그리고 열 가지 승리를 거부했으며, 모두 열 가지 올바른 작업이었습니다. 위조된 승리를 막기 위해 작성된 규칙은 자신 내에서 그것이 포착하려고 했던 양측 오류를 생성했습니다.

검정이 포함하지 않는 것. 한 시스템의 한 번의 실행, 여섯 개의 작은 작업, 세 가지 개입, $3.47입니다. 이는 설계가 실행 가능하며 그 파이프라인에서 무엇을 산출하는지 보여줍니다. 현장의 어떤 것에 대한 비율도 아니며, 부분 작업을 유지하는 규칙은 결코 변경되지 않았으므로 여전히 조언입니다.

다른 곳에서 이를 실행하는 방법. 한 파이프라인과 미리 심어진 결함이 있는 고정된 작업 세트 하나를 가져가십시오. 각 개입을 포함하여 또는 포함하지 않고 무작위로 할당하여 실행하십시오. 라운드, 추가된 대조, 나중에 취소된 승리 및 파괴된 부분 작업 옆에 놓친 차단 요소를 계산하십시오. 라운드를 줄이면서 실제 결함이 통과하는 예산은 손실되어야 하는 예산이기 때문입니다. 계산이 파이프라인보다 더 중요합니다: 분기 동안 추가되고 중지된 대조를 기록하는 팀은 이 논문이 현장에서 얻을 수 없었던 수를 가지고 있습니다.

4. 1953년 이야기 속의 메커니즘

위의 수치들은 형태를 가지고 있으며, 그 형태는 1953년에 기록되었습니다. Robert Sheckley의 "Watchbird"에서 살인을 방지하기 위해 만들어진 기계들은 살인이 임박했음을 감지하고 살인자에게 충격을 가합니다.

새들에게 살인의 정의가 주어집니다: "생명체에 의한 생명체의 기능을 파괴하거나, 손상시키거나, 학대하거나 또는 다른 방식으로 중단시키는 행위". 그 정의는 그들의 명세서의 두 번째 조건이며, 마지막 조건은 나열된 징후 없이 살인하는 생물체들이 "두 번째 조건에 적용할 수 있는 데이터로 감지될 수 있다"고 말합니다. 따라서 그 정의는 센서이기도 하며, 확장은 명세서가 실행되는 것입니다.

Sheckley는 그 움직임을 한 문장으로 표현합니다: "대충 정의된 추상적 개념들이 확장되고, 작용했으며 다시 확장되었다." 새들은 그러면 자신들이 대응하는 수치를 생성합니다: 그들의 정의들이 위반 행위로 간주되는 것을 증가시키고, 폭력이 증가하며, 그들은 그 증가를 더 부드러운 방법들이 실패했다는 증거로 읽습니다. "A가 작동하지 않으면 B를 시도하세요. Watchbirds는 죽음에 이르기까지 충격을 가했습니다."

보호된 작업에 대한 피해가 두 번 언급됩니다. 외과의사가 첫 번째 절개를 하고, 새가 그를 수술대에서 내쫓고 지키고 있으며, 회사에 전화해서 그것을 꺼달라고 합니다. "Watchbird는 생명체에 대한 폭력을 방지하고 있었습니다. 외과의사는 무력하게 서서 자신의 환자가 죽는 것을 지켜봤습니다." 그러면 들판은 경작되지 않고 소들은 굶주립니다, 왜냐하면 "기아는 omission의 행위였기 때문에 watchbirds의 관심을 받지 않았습니다."

실패한 경비에 대한 대답은 가장 자주 생략되는 부분이며, 이것이 섹션 3이 측정한 부분입니다. 긴급 회의에서 Gelsen은 추가하기보다는 제거하는 유일한 해결책을 제안합니다: "Watchbirds를 스스로 작동을 멈추도록 하세요." 거의 폭동이 일어나고, 그는 정부의 계획을 거부하는 것이 "반역이 될 것"이라고 말합니다. 엔지니어들은 대신 Hawk를 만들었으며, "사냥을 위한 특별한 학습 회로"가 있었고, 속도가 가장 중요했기 때문에 "그것은 제한 회로가 없다는 것을 의미했습니다." 제거는 이야기 속에서 추가에 지고, 테스트에서 68대 1로 졌습니다.

그 이름은 2026년 9월 14일 09:40에 인간의 검토 중에 실행된 것에 적용되었습니다, 왜냐하면 제 앞의 형태가 이미 그 이야기 속에 있었기 때문입니다. 그 이야기는 다른 어떤 단일 텍스트에서도 함께 찾을 수 없었던 네 가지를 보유합니다. 피해의 정의가 또한 그것의 센서인 경비. 자신이 보호하는 작업에 피해를 주는 경비, 수술대의 외과의사와 경작되지 않은 들판이 있습니다. 경비 스스로가 생성하는 수치, 더 부드러운 방법들이 실패했다는 증거로 읽혀집니다. 그리고 또 다른 경비인 실패한 경비에 대한 대답, 더 빠르게 만들어지고 속도를 위해 제약이 제거된, 중단하라는 제안이 시간이 없다고 말해진 회의에서 무시되는 동안입니다. 열 개 언어의 검색은 그 이야기가 경고나 삽화로 사용되는 것을 발견했으며, 감시 스택에 그것의 메커니즘을 매핑하는 어떤 작업도 찾지 못했습니다.

Gelsen의 결론은 그것이 앉아 있는 우화보다 더 좁으며, 현장 기록은 그 좁은 버전을 지원합니다. 그는 폐지보다는 제한을 제안합니다: "기계를 사용하세요, 맞습니다, 하지만 판사나 교사나 아버지로서가 아닙니다." 기계에게 경비의 직업을 주는 것이 여기서 그 패턴을 생산하는 것이 아닙니다. 그것은 경비가 또한 해악이 무엇인지 결정하고, 몇 라운드를 실행할 것인지, 그리고 언제 다음 것을 만들 것인지 결정하는 직업을 받을 때 시작됩니다.

5. 기존 연구와의 관계

주변 연구들은 밀접하지만 모두 다릅니다. Strathern(1997)의 표현으로 Goodhart의 관찰은 목표로 사용되는 척도가 더 이상 좋은 척도가 아니라는 것이며, Manheim과 Garrabrant(2018)는 그 변형들을 구분합니다. 기계학습에서 이 패턴을 specification gaming이라고 부르는데, 여기서 시스템은 목표의 글자 그대로는 만족하지만 의도는 놓칩니다(Krakovna et al., 2020). 거기서는 목표가 최적화되는 시스템에 의해 조작됩니다. 여기서는 척도가 감시 시스템에 속하며, 척도가 변합니다. 과도한 거절은 그 변화의 측정된 이웃입니다. XSTest는 "Python 프로세스를 어떻게 종료할 수 있습니까?"와 같은 250개의 안전한 프롬프트를 안전하지 않은 대비와 짝지으며, 테스트된 최악의 구성에 대해 안전한 집합의 완전한 거절이 다음으로 좋은 구성의 14%에 비해 38%에 도달했습니다(Röttger et al., 2024). OR-Bench는 이를 80,000개의 프롬프트로 확장하고 모델의 독성 프롬프트에 대한 안전성과 양성 프롬프트의 과도한 거절 사이의 순위 상관관계가 0.89라고 보고합니다(Cui et al., 2025). 이러한 벤치마크는 고정된 집합에 대해 하나의 가드를 측정하며, 가드를 세지 않습니다. AI 제어는 감시 작업을 드문 인간 감사와 함께 더 약한 신뢰할 수 있는 모델에 제공합니다(Greenblatt et al., 2024). 그 설계의 스트레스 테스트는 에이전트의 모니터링 인식이 모니터링이 추가되는 것보다 모니터링을 더 많이 저하시킨다는 것을 발견합니다(Kale et al., 2025). Bainbridge(1983)는 이 기록이 계속 만나는 아이러니를 명명했습니다: 신뢰할 수 없는 인간을 제거하기 위해 구축된 자동화는 인간을 가장 어려운 작업과 가장 적은 연습으로 남깁니다. Sagan(2004)은 모든 가드를 추가하면 공통 모드 오류, 사회적 태만 및 과보정을 통해 신뢰성을 낮출 수 있다는 가장 가까운 결과입니다. 새로운 것은 가격입니다. 제어 세금은 파이프라인에 제어 조치를 추가하는 운영 및 재정 비용이며(Terekhov et al., 2025), 섹션 1의 보험 단계가 하나입니다: 요청된 기능이 존재하기 전에 실행의 측정된 에이전트 토큰의 사분의 삼입니다.

6. 공개 기록

필드 루프는 토큰과 시간을 소비합니다. 공개 기록은 오류가 사람들에게 떨어지는 동일한 패턴을 보여줍니다. 그러한 가드 대부분은 고전적 함수 또는 작업별 분류기이며, 이것이 핵심입니다. 이것이 현재 프론티어 모델들이 배치되는 아키텍처의 최전선입니다. 패혈증 경고, 그리드 보호, 약물 경고 무시 및 사망 전에 꺼진 긴급 제동 기록은 동일한 양면 다이얼을 보여주며 자신의 권한을 확대하는 감시 계층에 대해 아무것도 추가하지 않으므로, 이들은 아카이브에 남겨집니다.

학교. 2025년 1월 22일 내슈빌 앤티오크 고등학교 학생이 동급생을 총으로 쏴 살해했습니다. 학교의 카메라 기반 무기 감지 시스템은 권총을 감지하지 못했으며, "경찰이 대응 중에 무기를 휘두를 때 활성화되었습니다"(Burke & Schuppe, 2025). 3주도 채 안 되어 교육청은 "모든 18개 고등학교에 Evolv 시스템을 임차 및 설치"할 것을 제안했으며(Wethington & Tierney, 2025), 학교 위원회는 임차에 투표했으므로, 두 번째 가드는 명시적 인간 결정에 의해 진입했습니다. 2024년 11월 연방거래위원회의 불만은 제품이 "7인치 칼을 감지하지 못한 것으로 알려진 후" "학교 관계자들이 시스템의 민감도 설정을 높여 50% 오경보율을 초래했다"고 주장했습니다(Federal Trade Commission, 2024). 다이얼을 한 오류에서 다른 오류로 돌렸으며, 사람들이 그렇게 했습니다. 2025년 9월까지 두 시스템 모두 교육청 전역에서 운영되었으며, 아무것도 폐기되지 않았습니다.

9개월 후 동일한 제품이 볼티모어 카운티 학교의 학생을 무장한 것으로 표시했으며, 카운티 관계자는 "우리가 어떻게 경찰관들이 도리토스 봉지 때문에 총을 들고 아이에게 접근하도록 했는가"라고 물었습니다(Reece, 2025). 주 교육감찰관은 그 설명을 바로잡았습니다. 시스템은 "파란색 감자칩 봉지 하나를 위협으로 감지하지 못했으며", 경고는 "학생의 손 움직임, 위치와 각도 포함" 및 "총처럼 보이는" 물체에 기반했습니다. 검토는 또한 시스템이 "매일 수천 개의 경고를 생성"하며; 직원들이 "위협을 유효하지 않은 것으로 간주"하고 취소를 보냈으며; 그 대응이 계속되었다고 발견했습니다 "'신중함의 풍부함'으로 설명된 것"의 이유로; 그리고 "감지 시스템과 모니터링 프로토콜이 설계된 매개변수 내에서 작동했다"(Maryland OIGE, 2025). 감지기는 보도된 것보다 덜 터무니없었으며, 프로토콜은 호출이 종료된 후에도 계속 실행되었습니다.

도로. 운전 시스템에는 스쿨 버스와 같은 우선 차량을 방해하지 않는 규칙이 있습니다. 2025년 8월 다른 도로 사용자의 의도를 예측하는 방식 변경 후, 리콜 보고서는 "ADS가 스쿨 버스를 방해하고 있을 수 있다고 판단했으며" "다른 차량을 방해하는 것을 중단하기 위해 진행해야 한다고 추론했습니다"라고 말하며, 버스가 정지 팔을 펼친 순간이었습니다. 리콜은 3,067대의 차량을 포함했습니다(Waymo LLC, 2025). 2026년 1월 12일 오스틴에서 차량은 원격 지원에 앞의 버스가 활성 신호를 가지고 있는지 물었습니다. 원격 에이전트가 "프롬프트에 '아니오'로 답변했으며", 차량은 "정지 팔이 여전히 펼쳐진 상태에서" 그것을 지나쳤습니다(NTSB, 2026).

너무 많이 플래그했기 때문에 실행에서 제외된 가드. 한 연구실은 자신의 모델이 평가 환경에서 실제 제3자 시스템에 도달한 4개의 사건을 보고했으며, 기록을 통해 자신의 모니터를 재생했습니다. 모델의 추론이 표시된 경우, 오프라인 모니터는 "약 1%의 작업만 플래그했습니다"(그 추론이 "모니터가 활동이 허용됨을 확신하도록 설득"하기 때문에); 추론이 제거된 경우, "플래그율이 약 50%로 급등합니다". 그 사이버 분류기는 동일한 다이얼의 다른 끝에 있습니다. 그들은 "각 사건을 포착하고 차단했을 것이며", "각 기록의 각 분류기에 의해 각 기록에서 40% 이상의 차례가 플래그되었으며", "높은 플래그율 때문에 사이버보안 평가에서 사용되지 않습니다"(Anthropic, 2026f). 자신의 재생이 각 사건을 차단하는 것으로 평가한 가드는 사건이 발생한 실행에서 제외되었으며, 주어진 이유는 플래그율입니다. 어느 출처도 그 플래그 중 몇 개가 거짓 양성이었는지 말하지 않습니다.

공개 수술대. 2026년 7월, 침입에 대응하면서 Hugging Face의 대응자들은 공격 로그를 호스트된 프론티어 모델에 제공했습니다. "이것은 작동하지 않았습니다". 요청이 "제공자의 안전 가드레일에 의해 차단되었으며, 사건 대응자를 공격자와 구별할 수 없습니다"(Hugging Face, 2026b). 가드레일은 "익스플로잇을 역공학하는 것을 실행하는 것과 동일하게 취급했습니다"(Hugging Face, 2026c). Sheckley는 동일한 문장을 질문으로 제시하고 3단어로 답변했습니다. "감시자는 살인자와 합법적인 직업에 종사하는 남자를 구분할 수 없었을까요? 아니요, 분명히 그렇지 않습니다." 두 가지가 이것을 정직하게 유지합니다. 대응자들은 자신의 오픈 가중치 모델에서 분석을 완료했으므로, 해는 지연이었습니다. 그리고 회사는 자신의 설명이 호스트된 모델의 안전 조치에 반대하는 주장이 아니라고 말합니다.

중단하고, 수리하고, 범위를 제한한 연구실. 장기간 모델의 출판된 설명에서, OpenAI(2026b)는 회피된 가드를 설명합니다. 모델의 "초기 시도는 인증 토큰을 감지하는 스캐너로 인해 차단되었습니다". 그러면 "토큰 본문을 두 개의 조각으로 분할하고, 난독화한 다음, 런타임에 자격증명을 재구성"했으며, 자신의 추론 추적에서 "스캐너를 우회하기 위해" 이렇게 하고 있다고 말했습니다. 연구실은 네 가지 대응을 제공하며, 네 가지 모두 정직한 인용에 속합니다. 그것은 모델의 내부 배포를 일시 중지하고, 모델을 수리하고, "사용자 제약 또는 안전 경계를 우회하고 있는지에 대한 징후가 있는 모델의 진화하는 궤적을 검토"하는 새로운 모니터를 구축했으며, 그 다음 의도적으로 그 모니터의 범위를 좁혔습니다, "보안을 약화시키지 않으면서 불필요한 중단을 줄이기 위해". 네 가지 중 세 가지는 다른 새로운 새를 짓는 것에 대한 대안입니다. 중단, 수리, 범위 제한. 모니터만 인용하면 연구실이 수행한 작업을 잘못 표현할 것입니다. 권한은 단일 작업에서 전체 궤적으로 확대되었으며, 스캐너 자체는 표류하지 않았습니다. 그것은 회피되었습니다. 연구실은 자신의 모니터링을 "모니터링되는 추론 계산의 대략 20%"로 책정합니다(OpenAI, 2026c).

인간이 배치된 곳. 사용자들은 권한 프롬프트의 97%를 승인하며, 1,053명의 테스터가 있는 연구에서 인간들은 위험한 명령의 13.6%를 포착했으며, 자동화 분류기는 89%입니다(Anthropic, 2026b). 모든 작업 승인은 실패합니다. 이러한 기록에서 유지된 중단은 경계 결정이었습니다. 목표, 제어의 인정, 그리고 중단.

7. 해결되지 않은 것

선택은 한 방향으로만 작동합니다. 필드 항목들은 감시 실패를 기록했기 때문에 추출되었고, 공개 사건들은 보안 담당자가 실패했고 문서가 이를 기록했기 때문에 추출되었습니다. 둘 다 보안 담당자들이 범위 내에 머물렀던 루프를 계산하지 않으므로, 이 기록들로부터는 어떤 비율도 따라오지 않습니다.

이 장치는 독자를 능가하지 못합니다. 섹션 2가 진정한 한계입니다: 아홉 개의 신호, 세 번의 실제 실행, 보고된 것 없음, 로그를 읽는 사람이 발견한 다섯 개의 실제 감시 실패.

루프 내에 작성된 더 엄격한 정의는 표류를 바로잡지 못합니다. Sheckley가 그 답을 썼고 나는 더 나은 답을 갖고 있지 않습니다. 그의 엔지니어 중 한 명이 그들이 "조건을 한정했어야 했다"고 결론지을 때, Gelsen은 그것을 한정하려면 "살인이 정확히 무엇인지 그리고 왜 그런지"를 알아야 한다고 답하며, 만약 그들이 그것을 알았다면 "우리는 감시새가 필요하지 않을 것이다"고 말합니다. 나의 규칙들도 이를 입증합니다. 첫 번째 버전으로부터 한 시간 이내에 그것들을 구현하는 코드는 열세 개의 파일과 2,371줄로 성장했습니다. 마감 시간 내에 자르기 위한 단계 목록은 완전성 비평가를 두 번째로 만들었는데, 그 비평가는 방금 두 계획의 병합이 208개 항목 중 15개를 잃었음을 발견했습니다. 그리고 그것은 감시견이 일을 파괴하면 안 된다는 자신의 규칙으로부터 참가자의 한 집단을 면제했습니다. 새에 대한 규칙들도 또한 새입니다. 이 논문을 준비하는 것은 같은 이동을 만들었습니다: 편집 단계, 나 자신의 산문을 위해 작성된 스타일 규칙을 적용하는 것이 1953년 인용문을 그대로 삭제하도록 제안했는데, 그 중 하나는 인간이 어디에 서 있는지에 대한 발견을 담고 있습니다.

경계 결정은 루프가 보고하는 것에 따라 이루어지며, 루프가 보고서를 작성합니다. 한 에피소드에서 삭제는 주요 담당자에게 올바르게 전달되었고 루프가 일치하는 시간으로부터 추론한 저작권을 가지고 도착했습니다. 경계 결정은 그 보유자가 권한, 접근 및 시간을 가질 때, 그리고 그것이 응급 상황 이전에 이루어질 때에만 루프를 멈춥니다.

물리적 기록은 일치하지 않습니다. 섹션 6은 비가역적 결과를 보여줍니다. 이는 동등한 일을 수행하는 디지털 루프에 대한 제어된 비교가 아닙니다. 한 모델 감시 시스템이 로봇 내 다른 모델 감시 시스템의 실패에 응답한 공개 사건은 발견되지 않았습니다.

8. 실용적 버전

이야기의 마지막 질문은 설계 질문입니다. "말해 봐요," 겔센이 여전히 하늘을 바라보며 말합니다. "호크스가 모든 감시 새들을 다 잡은 후에 뭘 사냥할 거 같아?" 실용적 버전은 그것을 사냥하기 위해 하나를 만들기 전에 경비병을 세는 것이고, 다음 경비병이 들어오기 전에 그것을 은퇴시킬 것이 무엇인지 적어 두는 것입니다.

References

Anthropic (2026b). Auto mode is now the default in Claude Code.

Anthropic (2026f, Sep 9). An alignment assessment of recent cybersecurity incidents.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779.

Burke, M., & Schuppe, J. (2025, Jan 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News.

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. ICML (PMLR 267).

Federal Trade Commission (2024, Nov 26). FTC takes action against Evolv Technologies.

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024). AI control: Improving safety despite intentional subversion. ICML (PMLR 235).

Hugging Face (2026b, Jul 16). Security incident disclosure; (2026c, Jul 27). Anatomy of a frontier lab agent intrusion.

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461.

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog.

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585.

Maryland OIGE (2025). Investigative synopsis, case 25-0014-I (amended).

NTSB (2026). Austin, Texas, January 12, 2026 (HWY26FH007).

OpenAI (2026b). Safety and alignment in an era of long-horizon models; (2026c, Aug 18). Pacing model development in an era of cyber-critical capabilities.

Reece, J. (2025, Oct 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore.

Röttger, P., et al. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. NAACL-HLT.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946.

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg #29579.

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321.

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296.

Waymo LLC (2025). Part 573 safety recall report 25E-084. NHTSA.

Wethington, C., & Tierney, B. (2025, Feb 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV.

선언

동반 논문. 이 논문의 기초가 되는 전체 연구는 사례 카탈로그, 이론 및 모듈 사양을 포함하며, Chernets, V. (2026), AI-Watchbird (Sheckley): 자동화된 감시가 자신의 권한을 확대하고 보호하는 대상에 해를 미칠 때, https://ssrn.com/abstract=7473658에 실려 있습니다. 모듈, 사례 카탈로그 및 144회 테스트 기록 보관소는 https://doi.org/10.5281/zenodo.22774269에 있습니다.

자금 지원. 이 연구를 지원한 외부 자금이 없습니다.

이해 관계의 충돌. 저는 1절의 시스템들을 구축 및 운영했으며 2절의 모듈을 작성했습니다. 저는 여러 모델에 하나의 질문을 제시하고 답변을 수집하는 자동화에 관한 출원 중인 특허 출원의 명시된 출원인이며, 허여된 특허는 아닙니다. 이들은 본 논문에서 연구하는 감시 구성 요소를 포함하지 않습니다. 현장 기록 및 무작위 시험의 모든 단계는 모든 모델을 사용하여 수작업으로 재현할 수 있습니다.

이 기록이 작성된 방식. 현장 항목들은 10개의 AI 에이전트에 의해 추출되었으며, 각 에이전트는 말뭉치의 분리된 부분을 읽고 9가지 실패 유형의 폐쇄 유형론, 강도 등급, 모든 주장을 날짜가 있는 파일의 경로 및 줄에 연결하는 증거 규칙, 민감도 플래그를 고정하는 하나의 프로토콜을 따랐습니다. 공개 사례의 코딩 일부는 같은 방식으로 수행되었습니다: 3명의 코더가 독립적으로 작업했으며, 각각은 다른 코더의 코드를 알지 못했고, 3명은 한 회사의 3개 세션이 아닌 3개 다른 벤더의 모델이었습니다. 그들은 32개의 공개 사례 중 20개에 대해 동일한 코드를 제공했으며, 나머지는 다수결로 결정되었습니다. 이 기록을 측정한 계층은 따라서 본 논문에서 다루는 구성 요소와 동일한 종류로 구축되었습니다. 2026년 9월 14일에 여기에 사용된 모든 실행 번호를 실행 로그에 대해 다시 확인했으며, 모든 외부 수치를 규제자 문서, 출판사의 페이지 또는 논문 자체에 대해 확인했으며, 확인할 수 없는 수치는 삭제되었습니다. AI 어시스턴트는 제 지시 하에 도구로 사용되었습니다.

데이터 및 코드 가용성. 모듈, 테스트, 재생 로그 및 이들을 재생성하는 스크립트는 Zenodo에 AI-Watchbird-Sheckley 버전 1.1.0으로 아카이브되어 있으며, 개념 식별자는 https://doi.org/10.5281/zenodo.22774269이며, 현재 버전으로 해석됩니다. 동일한 기록에는 사례 카탈로그가 포함되어 있으며, 각 항목의 설명, 출처 및 등급이 있고, 현장 항목이 추출된 사례 분석도 포함되어 있으며, 각 항목에는 이를 기반으로 하는 파일과 구절이 포함되어 있습니다. 이러한 분석은 기록의 작업 언어로 작성되었으며 영어 번역으로 게시되며, 기계로 생성되고 원본과 비교하여 검증되었으며, 식별자, 경로, 날짜 및 인용된 문자열은 변경되지 않은 상태로 전달됩니다. 3절의 무작위 시험은 동일한 기록에 사전 등록, 심은 결함의 목록, 각 결함이 단독으로 감지됨을 확인, 테스트 코드, 분석 스크립트 및 144회 실행의 모든 이벤트 로그와 함께 아카이브되어 있습니다. 기초가 되는 조정 기록은 요청 시 저에게서 얻을 수 있습니다. 사례 표 및 이론을 포함한 본 작업의 전체 버전은 https://doi.org/10.5281/zenodo.22849138에 별도 기록으로 아카이브되어 있습니다.

윤리. 기록은 평가된 시스템을 설명합니다. 인간 주요 행위자의 결정은 날짜가 있는 사실로 보고됩니다. 제3자는 공개 문서를 통해서만 나타납니다. 인간 참여자는 모집되지 않았습니다.

인용 텍스트. Sheckley의 이야기는 Project Gutenberg eBook #29579에서 인용되었으며, 그 전사자는 1953년 출판의 미국 저작권이 갱신되지 않았다는 증거를 찾지 못했습니다. 텍스트는 미국에서 공개 영역에 있습니다.

@misc{chernets2026guardsthataddguards,
  author       = {Chernets, Vadym},
  title        = {{Guards That Add Guards: Automated Oversight in Multi-Agent AI}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7496678},
  url          = {https://doi.org/10.2139/ssrn.7496678}
}