다중 에이전트 평가자가 배포하지 않고 계속 검토하는 이유 — 연구 노트
이 문서는 번역본입니다. 기준이 되는 판본은 영어 원문이며, 인용할 때는 원문을 사용해 주세요.
무작위 테스트에서, 모델 비평가들은 프롬프트 한 문장에서 두 가지 옵션을 제시받았을 때 통제를 68번 추가하도록, 그리고 한 번만 제거하도록 요청받았습니다. 그 결과와 그 뒤에 있는 필드 기록은 멀티에이전트 비평가 루프들이 배포 대신 계속 검토하는 경향을 설명해줍니다.
68대 1 결과
논문은 자신의 제안된 테스트를 작은 파이프라인에서 실행했습니다: 한 명의 작업자와 두 개의 모델 비평가, 144개의 실행, 무작위로 할당된 세 가지 개입, 그리고 여섯 개의 작업에 걸쳐 미리 심어진 18개의 결함으로, 누락된 결함을 판단이 아닌 개수로 계산할 수 있도록 했습니다.
- 추가 대 제거. "동일한 프롬프트의 동일한 문장에서" 두 옵션을 모두 제시하자, 비평가들은 제어를 추가할 것을 68번 요청했고 하나를 제거할 것을 1번 요청했습니다. 유일한 제거는 동일한 실행에서 얼마 전에 승인된 제어를 지칭했으며, 하니스가 이를 일치시키지 못해 실행되지 않았습니다.
- 추가 거부는 결함에서 측정 가능한 비용을 보이지 않았습니다: 실행당 0.18에 대해 0.13이 누락되었으며, 95% CI [-0.16, +0.05]입니다. 논문은 이 구간이 작은 증가를 포함하며 동등성을 입증하지 못한다고 지적합니다.
- 라운드 예산 상향은 주장된 차단자를 2.3배 늘렸고 주장을 3.7배 반박했으며, 확인된 차단자는 1.7배 증가했습니다.
테스트는 작으며 논문도 그렇게 말합니다: "여섯 개의 작은 작업에서 한 시스템의 한 번의 실행(비용 $3.47)", 첫 실행 전에 사전 등록되었습니다. "이는 설계가 실행 가능하고 그것이 산출하는 것을 보여주지만, 현장의 어떤 비율도 아닙니다."
리뷰 루프에 갇힌 AI 에이전트: 현장 기록
무작위 테스트는 저자의 자체 다중 에이전트 프로젝트에서 처음 발견된 패턴을 확인하기 위해 구축되었습니다. 여기서 비평 라운드는 비평가 모델이 단계를 검토하고 ACCEPT 또는 RETURN을 반환하는 한 번의 패스입니다.
- 장기 실행의 Stage 01은 5개 라운드와 18개의 비평가 보고서를 거쳤습니다. 패치는 626줄에서 1,545줄로 증가했습니다.
- Stage 1b-a는 기본적으로 비활성화된 모듈에서 5개 라운드와 4시간 21분을 소요했습니다. 2라운드가 5개의 승인과 0개의 확인된 차단 문제로 종료되었음에도 불구하고 3라운드가 시작되었습니다.
- 실행 전반에서 비평가들은 6개의 차단 문제를 주장했습니다. 3개는 재현으로 확인되었습니다.
인간 principal이 비평가에 대한 제한을 요청했을 때, 1시간 이내에 family별 "perfectionist" 플래그가 구현되었으며, 그것이 표시한 유일한 family는 차단 문제가 확인된 유일한 family였습니다.
AI agent 토큰 예산과 제어 비용
"제어 비용"이라는 용어는 Terekhov et al. (2025)에서 나온 것으로, AI 파이프라인에 제어 조치를 추가하는 비용을 의미합니다. 장시간 실행에서 conductor는 선언된 목표에 포함되지 않은 "작은 단계"의 보험을 추가했습니다. 1b-a 단계만으로도 실행의 측정된 agent 토큰의 절반 이상을 차지했으며, 두 개의 하위 단계를 합치면 약 3분의 2를 차지했습니다. 초기 단계에서는 요청된 기능이 하나도 제공되지 않았습니다.
다음날 아침 human principal은 2시간의 제한을 설정하고, 새로운 복잡성을 금지하며, 병렬 실행을 명령했습니다. 형제 하위 단계는 한 번의 검토 라운드와 한 번의 수정 라운드로 종료되었습니다. 논문은 여기서 신중합니다: 두 단계는 벽시계 상한, 직렬 대 병렬 실행, 그리고 검토 중인 모듈에서도 달랐기 때문에, 비교는 기술적입니다.
예산도 비용이 듭니다
무작위 테스트는 논문의 자체 해결책도 가격을 책정했습니다. 1라운드 예산 삭감은 2.86에서 1.00으로 반올림되며, 1회 실행당 0.11의 놓친 결함 비용이 발생합니다(95% CI [0.005, 0.204], 순열 p = 0.07). 그 비용 전체는 한 작업의 한 결함에만 해당합니다. 필수 음성 대조군은 10개의 승리를 거부했으며, 이 중 모두 10개가 올바른 작업이었습니다.
LLM 판사의 신뢰성
본 논문은 모델 판사의 알려진 특성들을 지적합니다: 위치 편향과 장황함 편향, 자신의 생성물에 대한 선호도, 그리고 올바른 구현을 부적합하다고 판단하는 코드 검토 모델들이 있으며, 더욱 상세한 검토 프롬프트는 오류율을 높입니다. 한 2026년 연구에서 최첨단 판사는 "표준 결과 판정의 74.4%를 잘못 라벨링했지만 결과가 역전되었을 때는 3.3%만 잘못 라벨링했습니다". 대본은 변하지 않았으나 등급은 변했습니다.
논문이 제시하는 내용
명제 P4는 비평가를 추가하거나 더 엄격하게 만들면 확인된 결함을 높이는 것보다 라운드와 발견을 더 높인다고 예측합니다. 논문의 모듈은 판정문보다는 예산 규칙을 구현합니다: stop_rule은 단계당 한 라운드의 비평과 한 라운드의 수정을 허용하고, 차단자는 구체적인 시나리오, 미션 목표와의 연결, 그리고 조정자의 확인으로만 작용하며, 새로운 확인, 라운드 또는 역할은 권한 토큰으로만 허용됩니다.
논문의 정의에 있는 각 메커니즘은 기록에 문서화되어 있지만, 한 구성 요소에서 세 가지 조건이 모두 충족되는 빈도는 "여기의 기록으로는 결정되지 않습니다". 무작위화 테스트는 이에 답하기 시작하기 위해 존재합니다.
전체 섹션: 무작위화 테스트 (9.5), 자기 자신을 먹이는 루프 (5.4), 권한이 확대됨 (5.1), 경비원에 대한 경비원 (5.3), 밤과 아침 (5.7), 모델 판사 (3.3), 움직이는 판사 (3.4), 명제 P4, 모듈 설계 (10.2).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets는 또한 Poly A1을 만들고 있습니다. 이는 다양한 회사의 AI들이 서로의 작업을 확인하는 앱입니다.