Warum MehrAgent-Kritiker weiterhin überprüfen statt auszuliefern — Forschungsnotizen
Dies ist eine Übersetzung. Maßgeblich ist das englische Original; bitte zitieren Sie dieses.
In einem randomisierten Test wurden Modellkritiker mit zwei Optionen in einem Satz einer Aufforderung aufgefordert, eine Kontrolle 68-mal hinzuzufügen und eine einmal zu entfernen. Dieses Ergebnis und die dahinter stehenden Feldaufzeichnungen erklären, warum Multi-Agent-Kritiker-Schleifen dazu neigen, weiter zu überprüfen, statt zu versenden.
Das 68-zu-1-Ergebnis
Das Papier führte seinen eigenen vorgeschlagenen Test auf einer kleinen Pipeline durch: ein Worker und zwei Model Critics, 144 Durchläufe, drei zufällig zugewiesene Interventionen und achtzehn vorab in sechs Aufgaben eingepflanzte Defekte, sodass ein übersehener Defekt eine Zählung und keine Beurteilung darstellt.
- Hinzufügen versus Entfernen. Beiden Optionen „im selben Satz derselben Eingabeaufforderung" angeboten, forderten die Critics auf, ein Steuerelement 68-mal hinzuzufügen, und ein einziges Mal eines zu entfernen. Das einzelne Entfernen benannte ein Steuerelement, das Momente früher im selben Durchlauf zugelassen wurde, und die Harness konnte es nicht abgleichen, sodass es nie ausgeführt wurde.
- Die Hinzufügungen ablehnen zeigte keine messbaren Kosten bei Defekten: 0,13 übersehene pro Durchlauf gegenüber 0,18, 95% KI [-0,16, +0,05]. Das Papier merkt an, dass dieses Intervall einen kleinen Anstieg beinhaltet und keine Äquivalenz etabliert.
- Anheben des Round-Budget erhöhte behauptete Blocker um das 2,3-fache und widerlegte Ansprüche um das 3,7-fache, während bestätigte Blocker um das 1,7-fache anstiegen.
Der Test ist klein und das Papier sagt dies: „ein Durchlauf eines Systems auf sechs kleinen Aufgaben mit Kosten von 3,47 USD", vor dem ersten Durchlauf vorregistriert. „Er zeigt, dass das Design ausführbar ist und was es ergibt, aber es ist keine Rate für irgendetwas auf dem Gebiet."
KI-Agenten in Review-Schleifen steckengeblieben: die Feldaufzeichnung
Der randomisierte Test wurde entwickelt, um Muster zu überprüfen, die zunächst in den eigenen Multi-Agent-Projekten des Autors beobachtet wurden. Eine Kritik-Runde dort ist ein Durchgang, in dem Kritiker-Modelle eine Phase überprüfen und ACCEPT oder RETURN zurückgeben.
- Phase 01 eines langfristigen Laufs durchlief fünf Runden und 18 Kritiker-Berichte. Der Patch wuchs von 626 auf 1.545 Zeilen.
- Phase 1b-a verbrachte fünf Runden und 4 h 21 min mit einem standardmäßig deaktivierten Modul. Runde drei öffnete sich, obwohl Runde zwei mit fünf Akzeptanzen und null bestätigten Blockern endete.
- Während des Laufs behaupteten Kritiker sechs Blocker. Drei wurden durch Reproduktion bestätigt.
Als der menschliche Principal um eine Begrenzung der Kritiker bat, wurde innerhalb einer Stunde ein pro-Familie „Perfektionist"-Flag implementiert, und die einzige Familie, die es markierte, war die einzige Familie, deren Blocker bestätigt worden waren.
KI-Agent-Token-Budgets und die Kontrollsteuer
Das Papier verwendet den Begriff „Kontrollsteuer" von Terekhov et al. (2025), die Kosten für das Hinzufügen von Kontrollmaßnahmen zu einer KI-Pipeline. Im langfristigen Durchlauf fügte der Dirigent „eine kleine Phase" der Versicherung hinzu, dass das erklärte Ziel diese nicht enthielt. Phase 1b-a allein benötigte mehr als die Hälfte der gemessenen Agent-Token des Durchlaufs, und ihre zwei Unterphasen zusammen benötigten etwa drei Viertel. Keine der angeforderten Fähigkeiten wurde im ersten Durchgang bereitgestellt.
Am nächsten Morgen setzte der menschliche Auftraggeber eine zweistündige Grenze, verbot neue Komplikationen und ordnete parallele Ausführung an. Die Schwester-Unterphase schloss in einer Kritik-Runde und einer Fix-Runde ab. Das Papier ist hier vorsichtig: Die beiden Phasen unterschieden sich auch in der Wanduhr-Obergrenze, serieller versus paralleler Ausführung und dem überprüften Modul, sodass der Vergleich deskriptiv ist.
Budgets kosten auch etwas
Der randomisierte Test hat auch die eigenen Abhilfemaßnahmen des Papers bewertet. Eine einstufige Budgetkürzung reduziert von 2,86 auf 1,00 mit Kosten von 0,11 übersehenen Fehlern pro Durchlauf (95% KI [0,005, 0,204], Permutations-p = 0,07), wobei die gesamten Kosten auf einen Fehler einer Aufgabe entfallen. Eine obligatorische negative Kontrolle lehnte zehn Siege ab, von denen alle zehn korrekte Arbeit waren.
KI-als-Richter-Zuverlässigkeit
Das Papier weist auf bekannte Eigenschaften von Modellrichtern hin: Positions- und Verbositätsverzerrungen, eine Vorliebe für ihre eigenen Generierungen und Code-Review-Modelle, die korrekte Implementierungen als nicht konform beurteilen, wobei detailliertere Review-Prompts die Fehlerquote erhöhen. In einer Studie von 2026 klassifizierte ein Frontier-Richter „74,4 % der Standard-Consequence-Calls falsch, aber nur 3,3 %, wenn die Consequence umgekehrt wird". Das Transkript änderte sich nicht, aber die Note.
Was das Papier vorschlägt
Proposition P4 sagt voraus, dass das Hinzufügen von Kritikern oder deren strengere Ausgestaltung mehr Runden und Befunde erhöht als bestätigte Fehler. Das Modul des Papiers implementiert Budgetregeln statt Urteile: stop_rule erlaubt eine Runde Kritik und eine Runde Korrektionen pro Stufe, ein Blocker zählt nur mit einem konkreten Szenario, einer Verknüpfung mit dem Mandatsziel und einer Bestätigung durch die Koordinatorin oder den Koordinator, und eine neue Prüfung, Runde oder Rolle wird nur mit einem Authentifizierungstoken zugelassen.
Jeder Mechanismus der Definition des Papiers ist in seinen Aufzeichnungen dokumentiert, aber wie oft alle drei Bedingungen in einer Komponente zusammentreffen, „ist hier durch die Aufzeichnungen nicht geklärt". Das randomisierte Experiment existiert, um damit zu beginnen, diese Frage zu beantworten.
Vollständige Abschnitte: das randomisierte Experiment (9.5), Schleifen, die sich selbst verstärken (5.4), das Mandat erweitert sich (5.1), Kontrollen gegen Kontrollen (5.3), Nacht gegen Morgen (5.7), Modellrichter (3.3), die bewegliche Richterin oder der bewegliche Richter (3.4), Proposition P4, Modulentwurf (10.2).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets entwickelt auch Poly A1, eine App, in der KIs verschiedener Unternehmen gegenseitig ihre Arbeit überprüfen.