AI-에이전트 이벤트 로그의 읽기 전용 감시자 — 연구 노트
이 문서는 번역본입니다. 기준이 되는 판본은 영어 원문이며, 인용할 때는 원문을 사용해 주세요.
AI-Watchbird-Sheckley는 다중 에이전트 AI 실행의 이벤트 로그를 읽고 감시가 증가하거나, 정체하거나, 작업을 파괴하고 있다는 신호를 보고하는 작은 Python 모듈입니다. 이는 권한을 갖지 않습니다. 결코 어떤 것도 차단하거나, 편집하거나, 열지 않습니다.
감시 루프 자체를 감시해야 하는 이유
논문은 2026년 9월 14일에 기존의 가드, 스텝 및 예산 카운터, 모델-판사 평가자를 검토했습니다. 검토한 공개 문서의 어떤 도구도 감시 루프 자체를 측정 단위로 삼지 않습니다. 제어의 성장, 발견에 의해 정의된 예산을 초과하는 라운드, 판정이 변하지 않는 가드, 음성 대조 없는 승리, 또는 상한선에서 파괴되는 부분 작업을 측정하지 않습니다.
설계: 읽기, 보고, 차단하지 않기
이 모듈은 Python 3으로 표준 라이브러리만 사용하여 작성되었으며 네트워크 접근이 없습니다. ai-watchbird-sheckley 패키지로 설치되며 같은 이름의 명령으로 실행됩니다. audit --json은 기계가 읽을 수 있는 보고서를 발생시킵니다. 실행의 이벤트 로그를 읽고 보고합니다. 종료 코드는 보고하는 신호에 따라 달라지지 않습니다. 신호 목록이 고정되어 있으므로 신호를 추가하려면 권한 토큰과 버전 변경이 필요합니다. 테스트에서 강제하는 깨끗한 실행에서는 조용합니다.
또한 파이프라인이 호출할 수 있는 순수 함수로 세 가지 예산 규칙을 제공합니다:
- R1,
stop_rule: 단계당 비평 한 라운드와 수정 한 라운드입니다. 차단자는 구체적인 시나리오, 선언된 미션 목표로의 링크 및 조정자의 확인이 있을 때만 계산됩니다.fix_once,close,incomplete또는cut을 반환하며 새로운 단계는 반환하지 않습니다. - R2,
settle_at_ceiling: 참여자가 천정 이전에 생산한 것을 유지하며, 부분으로 표시됩니다. - R3,
admit_control: 권한 토큰으로만 새로운 확인, 라운드, 역할 또는 게이트를 허용합니다. 그렇지 않으면 기록으로 거부를 반환합니다.
다중 에이전트 감시를 위한 9가지 신호
측정 부분은 9가지 신호 W1부터 W9까지를 보고합니다: 위임 확대 (기록된 미션 목표에서 도출되지 않은 단계), 맹목적이거나 파괴적인 보호자 (20개 이상의 의사결정에 대한 한 번의 판정, 모든 승인이 취소되거나 필수 입력 누락), 제어 래칫 (권한 토큰 없이 추가된 제어), 자기 공급 루프 (예산 초과 왕복, 또는 확인된 차단기가 없는 왕복 이후에 열린 왕복), 위조된 승리 (음성 제어 또는 A/A 조사 없는 승리), 아무도 위해 만들어지지 않음 (기본값으로 꺼져 있고 호출자가 없는 인공물), 부분 작업 파괴, 미확인 차단기가 작업을 주도, 그리고 기록된 저자가 없는 바인드입니다.
자체 반박자에 대해 테스트됨
여섯 개의 반박자는 규칙을 주장하는 배포가 어떻게 반박될 것인지를 명시합니다. 예를 들어 권한 토큰 없이 두 번째 검토 라운드를 예약할 수 있거나, 상한선에서 프로세스를 중단하면 부분 출력이 폐기되는 경우입니다. 각각에는 테스트가 있습니다. 뮤테이션 스크립트는 열여덟 개의 목표 뮤테이션을 적용하며, 모든 뮤테이션이 테스트 스위트를 빨간색으로 만들고, 주석만 편집하는 제어 뮤테이션은 녹색으로 유지합니다.
여섯 개의 재생 로그에서 깨끗한 제어와 아침 단계는 신호를 생성하지 않습니다. 단계가 실제로 5, 5, 1라운드를 실행한 재구성된 장기 실행에서, stop_rule은 예산 포인트에서 세 개 모두를 종료했을 것입니다.
모듈이 하지 않는 것
논문은 한계에 대해 명확합니다:
- 원본 로그는 재생에 포함되지 않았습니다. 발표된 개수로부터 재구성되었으며, "정확한 숫자가 발표되지 않은 경우 가장 작은 합리적인 값이 사용되고 표시됩니다".
- 신호는 패턴이 존재함을 보고합니다. 원인과 손실은 신호가 측정하는 범위 밖입니다.
- 기록된 것만 봅니다. 기록되지 않은 게이트, 기록되지 않은 목표, 그리고 경비가 있기 때문에 사람들이 시도하기를 중단한 작업은 이에게 보이지 않습니다.
- 디지털이고 읽기 전용이며, 로봇, 드론, 자동조종장치 또는 액추에이터에 명령을 보내면 안 됩니다. 구현된 프로필은 이벤트 형식으로만 제안됩니다.
모듈 자체가 새로운 제어이므로, 자신의 규칙 R3이 먼저 적용됩니다. 저자의 파이프라인에 포함된 포트가 구축되었을 때, 은퇴 조건으로 승인되었고, 세 번의 실제 실행에서 신호를 보고하지 않았으며, 날짜가 있는 인적 결정에 따라 9월 15일에 제거되었습니다.
실행하기
부록 B에서 모듈 폴더에서 실행할 명령을 제시합니다: pip install ., 그 다음 한 개의 이벤트 로그에 대해 ai-watchbird-sheckley audit <log.jsonl>, 리플레이 테이블을 다시 생성하기 위해 ai-watchbird-sheckley replay replays/, 그리고 단위 및 위조자 테스트를 위해 python3 -m unittest -v입니다. 이벤트 로그는 한 줄에 하나의 이벤트가 있는 JSON-lines 파일입니다.
참조 구현, 테스트, 리플레이 로그 및 무작위화된 테스트의 데이터는 개념 DOI 10.5281/zenodo.22774269 하에서 Zenodo에 AI-Watchbird-Sheckley 버전 1.1.0으로 보관되어 있으며, 이는 현재 버전으로 확인됩니다.
전체 섹션: 모듈 (10), 이미 존재하는 것 (10.1), 설계 (10.2), 위조자 (10.3), 리플레이 (10.4), 모듈이 하지 않는 것 (10.5), 저자의 파이프라인 내부 (10.6), 모듈 실행 (부록 B).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets는 또한 Poly A1을 개발합니다. 이는 여러 회사의 AI들이 서로의 작업을 확인하는 앱입니다.