Ein schreibgeschützter Auditor für KI-Agent-Ereignisprotokolle — Forschungsnotizen
Dies ist eine Übersetzung. Maßgeblich ist das englische Original; bitte zitieren Sie dieses.
AI-Watchbird-Sheckley ist ein kleines Python-Modul, das das Ereignisprotokoll einer Multi-Agent-KI-Ausführung liest und Anzeichen dafür meldet, dass ihre Überwachung wächst, stagniert oder Arbeit zerstört. Es hat keine Autorität: Es blockiert, bearbeitet oder öffnet nie etwas.
Warum die Überwachungsschleife selbst prüfen
Das Papier überprüfte bestehende Schutzmaßnahmen, Schritt- und Budget-Zähler sowie modellbasierte Bewerter am 14. September 2026. Keines der in der öffentlichen Dokumentation überprüften Tools betrachtet die Überwachungsschleife selbst als Maßeinheit. Keines misst das Wachstum von Kontrollen, Runden über ein durch Erkenntnisse definiertes Budget hinaus, eine Schutzmaßnahme, deren Urteil sich nie ändert, einen Erfolg ohne negative Kontrolle oder teilweise zerstörte Arbeit bei einer Obergrenze.
Design: lesen, berichten, niemals blockieren
Das Modul ist in Python 3 mit der Standardbibliothek geschrieben und hat keinen Netzwerkzugriff. Es wird als Paket ai-watchbird-sheckley installiert und läuft als Befehl desselben Namens; audit --json gibt einen maschinenlesbaren Bericht aus. Es liest das Ereignisprotokoll eines Laufs und erstellt Berichte. Sein Exit-Code hängt nicht von den Signalen ab, die es meldet. Seine Signalliste ist eingefroren, daher erfordert das Hinzufügen eines Signals ein Authentifizierungstoken und eine Versionänderung. Es bleibt bei einem sauberen Lauf still, was ein Test erzwingt.
Es enthält auch drei Budgetregeln als reine Funktionen, die eine Pipeline aufrufen kann:
- R1,
stop_rule: eine Runde Kritik und eine Runde Korrektionen pro Phase. Ein Blocker zählt nur mit einem konkreten Szenario, einem Link zum erklärten Missionsziel und Bestätigung durch den Koordinator. Er gibtfix_once,close,incompleteodercutzurück und niemals eine neue Phase. - R2,
settle_at_ceiling: behält das, was ein Teilnehmer vor einer Obergrenze hergestellt hat, als partiell gekennzeichnet. - R3,
admit_control: lässt eine neue Prüfung, Runde, Rolle oder Gate nur mit einem Authentifizierungstoken zu; andernfalls gibt er eine Ablehnung als Datensatz zurück.
Neun Signale für die Überwachung von Multi-Agent-Systemen
Der Messbericht präsentiert neun Signale, W1 bis W9: Mandatsausweitung (eine Phase, die nicht aus einem aufgezeichneten Missionsziel abgeleitet ist), ein blinder oder destruktiver Wächter (ein Urteil über 20 oder mehr Entscheidungen, jede Genehmigung rückgängig gemacht oder eine erforderliche Eingabe fehlend), ein Kontrollratschenzug (Kontrollen hinzugefügt ohne ein Autoritätstoken), eine selbstversorgend Schleife (Durchläufe über Budget oder eine Runde, die nach einer ohne bestätigten Blocker geöffnet wird), ein gefälschter Sieg (ein Sieg ohne negative Kontrolle oder A/A-Sonde), gebaut für niemanden (Artefakte standardmäßig deaktiviert ohne Aufrufer), zerstörte Teilarbeit, ein unbestätigter Blocker treibt die Arbeit an, und eine Bindung ohne aufgezeichneten Autor.
Gegen die eigenen Falsifizierer getestet
Sechs Falsifizierer geben an, wie eine Bereitstellung, die die Regeln beansprucht, widerlegt würde, beispielsweise wenn eine zweite Kritikrunde ohne ein Authentifizierungstoken geplant werden kann oder wenn das Beenden eines Prozesses an der Obergrenze seine Teilausgabe verwirft. Jeder hat einen Test. Ein Mutationsskript wendet achtzehn gezielte Mutationen an; jede führt dazu, dass die Suite rot wird, und eine Kontrollmutation, die nur einen Kommentar bearbeitet, lässt sie grün bleiben.
Bei sechs Replay-Protokollen erzeugen die saubere Kontrolle und die Morgenstufe keine Signale. Bei dem rekonstruierten langfristigen Lauf, bei dem die Stufen tatsächlich fünf, fünf und eine Runden liefen, hätte stop_rule alle drei am Budget-Punkt geschlossen.
Was das Modul nicht tut
Das Papier ist deutlich bezüglich der Grenzen:
- Keine Rohprotokolle gingen in die Wiedergaben ein. Sie wurden aus veröffentlichten Zählungen rekonstruiert, und „wo keine genaue Zahl veröffentlicht wurde, wird der kleinste plausible Wert verwendet und markiert".
- Ein Signal meldet, dass ein Muster vorhanden ist. Ursache und Verlust liegen außerhalb dessen, was ein Signal misst.
- Es sieht nur, was protokolliert wurde. Ein Gate, das nie protokolliert wurde, ein Ziel, das nie aufgeschrieben wurde, und Arbeiten, die Menschen aufhören zu versuchen, weil ein Wächter vorhanden ist, sind für es unsichtbar.
- Es ist digital und schreibgeschützt und darf keine Befehle an einen Roboter, eine Drohne, einen Autopiloten oder eine Betätigungsvorrichtung senden. Ein verkörpertes Profil wird nur als Ereignisformat vorgeschlagen.
Das Modul ist selbst eine neue Kontrolle, daher gilt seine eigene Regel R3 zunächst für es. Als eine Portierung davon in die Pipeline des Autors integriert wurde, wurde sie mit einer Ruhestandsbedingung aufgenommen, meldete bei drei realen Läufen kein Signal und wurde am 15. September durch eine datierte menschliche Entscheidung entfernt.
Ausführung
Anhang B enthält die Befehle, die vom Modulordner aus ausgeführt werden: pip install ., dann ai-watchbird-sheckley audit <log.jsonl> für ein Ereignisprotokoll, ai-watchbird-sheckley replay replays/ um die Replay-Tabelle zu regenerieren, und python3 -m unittest -v für die Unit- und Falsifier-Tests. Ein Ereignisprotokoll ist eine JSON-Lines-Datei mit einem Ereignis pro Zeile.
Die Referenzimplementierung, Tests, Replay-Protokolle und die Daten des randomisierten Tests sind bei Zenodo als AI-Watchbird-Sheckley Version 1.1.0 unter der Konzept-DOI 10.5281/zenodo.22774269 archiviert, die in die aktuelle Version aufgelöst wird.
Vollständige Abschnitte: das Modul (10), was bereits existiert (10.1), Entwurf (10.2), Falsifier (10.3), Replays (10.4), was das Modul nicht tut (10.5), in der Pipeline des Autors (10.6), Ausführung des Moduls (Anhang B).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets entwickelt auch Poly A1, eine App, in der KIs verschiedener Unternehmen die Arbeit voneinander überprüfen.