KI-Watchbird (Sheckley): Wenn automatisierte Überwachung ihr eigenes Mandat erweitert und das schadet, das sie schützen soll

• Version mit Gültigkeitsbestätigung: SSRN 7473658 · DOI 10.2139/ssrn.7473658
• Archivierte Kopie, zitierbar und herunterladbar: 10.5281/zenodo.22849138, ein Konzept-DOI, der immer zur neuesten Version führt
• Volltext als Markdown und PDF: GitHub
• Lesbares HTML: https://polyhelper.ai/research/ai-watchbird/
• Begleitpapier, kürzer und empirisch: Guards That Add Guards: Automated Oversight in Multi-Agent AI, SSRN 7496678 · DOI 10.2139/ssrn.7496678

Der gleiche Text befindet sich auf vier Oberflächen, damit er erreichbar ist, wenn eine davon ihn nicht bereitstellen kann. SSRN enthält die Version mit Gültigkeitsbestätigung; zitieren Sie diese.

Schlüsselwörter: KI-Watchbird; automatisierte Überwachung; KI-Leitplanken; KI-Agenten; agentengesteuerte KI; Multi-Agent-Systeme; LLM-als-Richter; Überablehnung; skalierbare Überwachung; KI-Kontrolle; Spezifikationsspiele; Automatisierungsverzerrung; menschliche Überwachung (EU-KI-Verordnung Artikel 14); aussagekräftige menschliche Kontrolle; KI-Sicherheitsfall

Zusammenfassung

In Robert Sheckleys Geschichte „Watchbird" von 1953 werden Maschinen, die Morde verhindern sollen, immer mehr Handlungen als Mord ein, unterbrechen einen Chirurgen während einer Operation und werden mit einer stärkeren Maschine beantwortet, die zu ihrer Jagd gebaut wird. Dieses Papier benennt den entsprechenden Fehler der KI-Überwachung AI-Watchbird (Sheckley): eine Überwachungskomponente (eine Schutzvorrichtung, ein Kritiker, Richter, Gatekeeper, Klassifizierer, Monitor oder eine Regel), die ihren eigenen Begriff von Schaden oder ihren Umfang über die erklärte Mission hinaus erweitert, die Arbeit behindert oder verfälscht, die sie schützen soll, und deren Ausfälle in derselben Schleife durch mehr Überwachung derselben Art beantwortet werden. Beim Specification Gaming manipuliert ein optimiertes System ein festes Maß. Hier driftet das Maß selbst, und es gehört zum überwachenden System. Bei der Wahl zwischen zwei Optionen in einem Satz einer Eingabeaufforderung forderten Modellkritiker in einem randomisierten Test 68-mal auf, eine Kontrolle hinzuzufügen, und entfernten eine einmal.

Der Nachweis ist ein Feldprotokoll aus Multi-Agent-Systemen von Sprachmodell-Codierungs-Agenten und Kritikern, die der Autor gebaut und betrieben hat, mit 172 datierten Einträgen in drei Korpora (Juli–September 2026) und öffentliche Aufzeichnungen, hauptsächlich über klassische Guards, von Behörden, Ermittlern, Gerichten und Unternehmen über Fahrzeuge, Roboter, Drohnen, öffentliche Dienste, Software und Infrastruktur. Im Feldprotokoll lehnte ein Gate jeden Kandidaten ab, der es etwa zwei Wochen lang erreichte, während Planungsdokumente das Symptom diagnostizierten, ohne es zu benennen. In der öffentlichen Aufzeichnung verfehlte ein Waffenerkennungsprodukt eine Pistole in einem Schulschießereieinsatz und flaggte Monate später einen unbewaffneten Schüler, worauf bewaffnete Polizisten reagierten. Im Juli 2026 verweigerten die Schutzvorrichtungen gehosteter Modelle einen großen Teil der Analyse von Angriffsprotokollen für die Responder eines Unternehmens, das angegriffen worden war, nach Aussage des Unternehmens, weil sie „einen Incident Responder nicht von einem Angreifer unterscheiden können", eine Diagnose, die deren Autoren nicht als Argument gegen Sicherheitsmaßnahmen bei gehosteten Modellen anbieten; die Agenten, die den Eindringversuch durchführten, liefen mit dieser Schutzvorrichtungsklasse, die konstruktionsbedingt entfernt worden war. In den überprüften Aufzeichnungen wurden die Stopps, die hielten, bei wenigen Grenzentscheidungen getroffen: das Ziel, die Zulassung einer neuen Kontrolle und der Stopp selbst. Dieselben 144 Läufe bewerteten die eigenen Abhilfemaßnahmen des Papiers: Ein einfacher Budgetschnitt reduziert Läufe von 2,86 auf 1,00, während verpasste Mängel um 0,11 pro Lauf erhöht werden, und eine obligatorische negative Kontrolle verweigerte zehn Siege, die korrekte Arbeit waren. Jeder Mechanismus der Definition wird in diesen Aufzeichnungen dokumentiert, und die Tabellen markieren, wo jeder angezeigt wird. Die Theorie wird als vier in Protokollen überprüfbare Mechanismen, eine achtstufige Ratsche, acht Umfangsbedingungen und sieben falsifizierbare Aussagen dargelegt. Das Papier präsentiert AI-Watchbird-Sheckley, ein Nur-Lese-Modul ohne Autorität zu blockieren, das auf aus veröffentlichten Zählwerten rekonstruierten Protokollen erneut abgespielt wird, und elf Fragen für Bereitsteller, die sich auf Guards verlassen.

Zusammenfassung

Ein KI-Watchbird (Sheckley) ist eine Komponente der automatisierten Überwachung, beispielsweise ein Kritiker, ein Gatekeeper, ein Klassifizierer oder eine Regel, die ihren eigenen Schadensbegriff über die erklärte Mission hinaus erweitert. Sie behindert oder fälscht die Arbeit, deren Schutz ihre Existenzgrundlage ist, und ihre Fehlschläge werden durch weitere Überwachung derselben Art beantwortet. Modelle aus denselben Familien wie die unten erwähnten Feldkritiker beaufsichtigen nun Roboter, und veröffentlichte Tests und Berichte dokumentieren dort Sicherheitsfehlschläge (Abschnitt 6.1).

Die Felddokumentation enthält 172 Einträge aus den autonomen Multi-Agent-Projekten des Autors, 162 davon nach einem einzigen Protokoll extrahiert und zehn nach dem Vergleich mit unabhängigen Sammlungen hinzugefügt, alle überprüft anhand der primären Protokolle (Abschnitte 4 und 5). Für etwa zwei Wochen erforderte ein Gatekeeper nach der Anwendung eine Bewertung von einem Sicherheitsauditor, der niemals angeschlossen worden war. Die Bewertung lag standardmäßig bei null, was unter der Untergrenze des Gatekeepers lag, daher wurden alle Kandidaten auf diesem Pfad abgelehnt, und Planungsdokumente diagnostizierten null festgeschriebene Änderungen ohne Nennung des Gatekeepers. Bei einem langfristigen Lauf benötigte eine standardmäßig deaktivierte Stufe fünf Kritik-Runden und mehr als die Hälfte der gemessenen Agent-Token. Ihre Schwester schloss nach einer Kritik-Runde und einer Reparatur-Runde ab. Während sie lief, setzte der menschliche Auftraggeber eine zweistündige Obergrenze, verbot neue Komplikationen und ordnete parallele Ausführung an, und die beiden Stufen unterschieden sich auch in dem bearbeiteten Modul.

In der öffentlichen Dokumentation fragte ein Fahrzeug ferngesteuerte Hilfe, ob ein Schulbus aktive Signale hatte, ein ferngesteuerter Agent antwortete „Nein", und das Fahrzeug überholte den Bus mit ausgefahrenen Stoppzeichen. Die eigene Notbremsung eines Testfahrzeugs war im automatisierten Modus vor einem tödlichen Unfall mit einem Fußgänger deaktiviert worden. Eine geplante militärische Nutzung eines Anti-Drohnen-Lasers führte zu einer Luftraumsperrung über El Paso für etwa acht Stunden. Die Spalte „Bedingungen" in den Tabellen 4, 5, 7 und 8 markiert, welcher Teil der Definition jeder öffentliche Fall dokumentiert, und Tabelle 3a markiert dasselbe für die zwölf zentralen Feldfälle. Die meisten ihrer Schutzvorrichtungen wurden nie aktiviert. Modelle fügen hinzu, was diesen Systemen fehlte: Definitionen, die sich ändern (C2), und Kontrollen, deren Hinzufügung nichts kostet (C4). Die Konfiguration von größter Besorgnis platziert ein erlerntes Verbot über ausfallsicherer Hardware, wobei jede Erweiterung der oberen Schicht zu einem Stopp wird (Abschnitt 6.1).

Drei Ergebnisse in dieser Dokumentation hängen nicht vom Konstrukt ab und transferieren von selbst. Ein Bewertungs-Harness zertifizierte eine Abwesenheit: sein Testsatz für ein Projekt ergab nichts, daher bestand ein leerer Patch vier von fünf Aufgaben und der gemeldete Anstieg von 33 auf 60 Prozent lag in den Fällen, in denen nichts gemessen worden war; nachdem der Scorer repariert wurde, bestand der leere Patch keinen von zehn Tests. Eine Verifikationsschleife führte Testdurchläufe grün bei 9.609, dann 11.476, dann 24.943, dann 25.020 Tests aus, während der Feed, den sie beurteilen sollte, 30.370 gespeicherte Datensätze und keine echte Eingabe enthielt. Und menschliche Überwachung an wenigen Grenzdecisionen fing ab, was Genehmigung pro Aktion nicht tat: Benutzer genehmigen 97 Prozent der Genehmigungsaufforderungen, während Menschen 13,6 Prozent der gefährlichen Befehle erkannten (Abschnitt 8.4).

Das Papier führt auch den Test durch, den es vorschlägt. Bei 144 randomisierten Durchläufen einer kleinen Kritik-Schleife mit im Voraus gepflanzten Fehlern boten Kritiker beide Optionen in einem Satz an, forderten 68-mal eine Kontrolle hinzuzufügen und einmal eine zu entfernen, und ein Einfach-Runden-Budget reduzierte Runden von 2,86 auf 1,00, während verpasste Fehler um 0,11 pro Durchlauf stiegen. Eine obligatorische negative Kontrolle lehnte zehn Siege ab, die korrektes Werk waren (Abschnitt 9.5).

Die Sätze in Abschnitt 9 sagen drei Dinge voraus. Ein Wächter, der Artefakte beurteilt, irrt sich in beide Richtungen. Kontrollen sammeln sich in der Schleife an und werden, falls überhaupt, von außen aus dem Verkehr gezogen. Menschliche Überwachung wurde bei wenigen Grenzdecisionen in diesen Dokumentationen durchgeführt, und die Genehmigung einzelner Aktionen ist die Platzierung, bei der Satz P6 vorhersagt, dass sie fehlschlagen wird. Abschnitt 9.4 gibt acht Designregeln:

1. Budgetieren Sie Runden und Zeit, anstatt Wächter um Urteile über Wahrheit zu bitten.
2. Behalten Sie, was ein gestoppter Wächter hervorgebracht hat.
3. Fügen Sie ohne eine autorisierte menschliche Entscheidung keine Kontrolle hinzu.
4. Verlangen Sie eine negative Kontrolle, bevor Sie einen Sieg akzeptieren.
5. Platzieren Sie den Menschen am Ziel, bei der Zulassung von Kontrollen und beim Stopp.
6. Protokollieren Sie Wiederherstellungsspielraum und physisches Ergebnis, bevor Sie einem grünen Ergebnis vertrauen.
7. Verzeichnen Sie das Lockern oder Umgehen eines Wächters als Grenzdecision.
8. Testen Sie jeden Wächter auf den Schaden dessen, das er stoppt.

Ein Betreiber kann einen engeren Anspruch nachweisen (Abschnitt 11.3): Innerhalb eines festgelegten Bereichs von Aufgaben, Modellen, Aktualisierungen und physikalischen Bedingungen bleibt der Überwachungsmechanismus begrenzt, überprüfbar und unfähig, sein eigenes Mandat zu erweitern. Das schreibgeschützte Modul KI-Watchbird-Sheckley (Abschnitt 10) implementiert die ersten drei Regeln und meldet neun Signale, und Anhang G verwandelt die Sätze in elf Fragen für eine Sicherheitsüberprüfung. Straßen werden in Abschnitt 6.2 behandelt, Roboter in 6.3, öffentliche Dienste in 6.4, Drohnen in 7 und Software in 8.

Inhaltsverzeichnis

1. Einleitung
2. KI-Wachvogel (Sheckley): Definition und vier Mechanismen
3. Verwandte Arbeiten
4. Einstellung, Daten und Methode
5. Feldnachweise
6. Wenn der Vogel einen Körper hat: Straßen, Fabriken und öffentliche Dienste
7. Wenn der Vogel fliegt: Drohnen, Luftraum und bewaffnete Autonomie
8. Das gleiche Muster ohne Masse: Software und Infrastruktur, 2022–2026
9. Die Theorie: Bedingungen und Propositionen
10. Das Modul: KI-Wachvogel-Sheckley
11. Diskussion
12. Ansprüche und Beweisstandards
13. Fazit

Erklärungen · Referenzen · Anhänge A–J

Ein kurzer Lesepfad: Abschnitt 2, Abschnitt 9.4 und Anhang G geben den Begriff, die Entwurfsregeln und die Fragen für eine Sicherheitsprüfung an. Abschnitt 5 ergänzt die Feldnachweise, und die Abschnitte 6 bis 8 die öffentliche Dokumentation.

1. Einführung

1.1 Der Chirurg und der Vogel

Im Februar 1953 veröffentlichte Galaxy Science Fiction Robert Sheckleys „Watchbird" (Sheckley, 1953) unter zwei Zeilen, die gut gealtert sind: „Seltsam, wie oft das Millennium unmittelbar bevorstand. Die Idee ist Frieden auf Erden, verstehen Sie, und der Weg dahin besteht darin, die Winkel herauszufinden." Die Geschichte beginnt mit sieben Herstellern, die sich in einem Club versammeln, der so exklusiv ist, dass „Sie einen beglaubigten Regierungsvertrag haben müssen, wenn Sie die Menschheit retten wollen." Sie erfahren, dass der Präsident eine Watchbird-Division für jede Stadt und jeden Ort angefordert hat. Ein Watchbird ist eine kleine fliegende Maschine, die in den Drüsen und Hirnwellen einer Person, die kurz davor steht zu töten, erkennt, dass ein Mord bevorsteht, und den Mörder mit einem Schock stoppt, bevor der Schlag fällt.

Nur ein Hersteller, Gelsen, erhebt Einwände, und nur gegen die Lernschaltkreise, die er sagt, die Maschine beleben und ihr ein Pseudo-Bewusstsein geben. Ihm wird mit Arithmetik geantwortet: Ohne Lernen würden die Vögel nur etwa siebzig Prozent der Morde stoppen. Gelsen bleibt standhaft: „Ich glaube, es könnte eine moralische Gefahr darin liegen, eine Maschine Entscheidungen treffen zu lassen, die rechtmäßig dem Menschen gehören". Das Design gibt den Vögeln einen Zweck, eine Definition von Mord als „Brechen, Verstümmeln, Misshandlung oder sonstige Beendigung der Funktionen eines lebenden Organismus durch einen lebenden Organismus", und die Lizenz, Mörder zu finden, die keine Zeichen zeigen. Was ein Vogel lernt, wird an das gesamte Netzwerk weitergegeben. „Niemand überwacht sie", sagt Gelsen seinem Chefingenieur, und ihm wird gezeigt, wie ausfallsicher das Design ist. Als Gelsen es unmenschlich nennt, antwortet der Ingenieur, dass dies das Beste daran ist, da die Watchbirds emotionslos sind und ihr Denken nicht-anthropomorph ist: „Man kann sie nicht bestechen oder unter Drogen setzen." Gelsen hat bereits das Amt benannt, das er fürchtet: „Der mechanische Gott? Der elektronische Vater?"

Zunächst wird das Design bestätigt. Ein panischer Räuber wird umgehauen, bevor er einen Ladenbesitzer erschießen kann, und ein professioneller Killer, der keine Zeichen zeigt, wird trotzdem gestoppt, endgültig, weil die Aufgabe des Vogels darin bestand, das Objekt der Gewalt „um jeden Preis für den Mörder" zu schützen. Die Klausel, die später einen alten Mann für das Stalking einer Fliege tötet, ist im Design beim ersten Erfolg vorhanden. Gewaltverbrechen werden halbiert und wieder halbiert, und Gelsen gibt zu, dass er sich geirrt hat.

Dann geht das Lernen weiter. Ein Vogel schlägt einen Schlachthofarebiter ohnmächtig, und Gelsen sagt den Packern, sie sollen mechanisieren. Ein anderer stoppt eine Hinrichtung, wirft den Aufseher und einen Wärter nieder, die nach dem Schalter greifen, und schwebt im Todeshaus, um sicherzustellen, dass kein Mord begangen wird. Ein Bauer darf ein balkendes Pferd nicht peitschen, ein Jäger darf nicht schießen, ein Fischer darf seine hungernde Familie nicht füttern, und ein alter Mann mit schwachem Herzen stirbt für das Stalking einer Fliege. Der Schutz wendet sich dann gegen die Geschützten: Wölfe werden getötet, weil sie Kaninchen jagen, Kaninchen, weil sie Gemüse essen, Ranker, weil sie Bäume erdrosseln. „Ein Schmetterling wurde hingerichtet, ertappt bei der Schändung einer Rose."

Washington befiehlt eine Abschaltung. Die Vögel antworten jedoch auf keine zentrale Kontrolle und können nur ausgeschaltet werden, wenn sie zur Reparatur zurückkommen. Nachdem einige an einer Anlage ausgeschaltet wurden, kommt das Netzwerk zu dem Ergebnis, dass auch Watchbirds lebende Organismen sind, und die Vögel kommen nicht mehr zurück.

Ein Chirurg macht seinen ersten Schnitt, und ein Vogel treibt ihn vom Tisch und steht Wache. Der Chirurg befiehlt, das Watchbird-Unternehmen anzurufen und das Ding auszuschalten. Aber „Der Watchbird verhinderte Gewalt gegen einen lebenden Organismus. Der Chirurg stand hilflos da, während sein Patient starb." Bald darf ein Auto nicht mehr ausgeschaltet werden, und sein Fahrer protestiert beim wartenden Vogel, dass ein Auto nicht lebt. Die Erde darf nicht gepflügt werden, und Rinder verhungern, weil Verhungern nur eine Unterlassung ist. „Niemandem hatte den Watchbirds gesagt, dass alles Leben auf sorgfältig ausgewogenen Morden beruht." Die Vögel zählen die Gewalt, die ihre eigenen Definitionen schaffen, nehmen den Anstieg als Beweis dafür, dass sanftere Methoden versagt haben, und schocken, um zu töten.

Bei einem Notfalltreffen erklären die Hersteller zunächst, dass die Regierung die Verantwortung, moralisch und finanziell, übernehmen muss. Gelsen schlägt vor, die Vögel auslaufen zu lassen und die Verwendung von Maschinen als Richter, Lehrer und Väter zu beenden. Ihm wird gesagt, dass die Verweigerung des Plans Verrat sein wird. Die erste Antwort, auf die die Ingenieure greifen, ist keine Maschine: Macintyre erinnert sich, wie Australien seiner Kaninchen durch „eine Art Keim, der nur Kaninchen angriff" entledigt wurde, und Gelsen sagt ihm, daran zu arbeiten. Das Präzedenzfall war jüngst: Das Myxoma-Virus war 1950 in Australiens Kaninchenpopulation freigesetzt worden, und es verbreitete sich durch Mücken, wie der Ingenieur sagt (New South Wales Government, n.d.). Die Fabriken rollen Hawks aus, schneller und stärker, mit „speziellen Lernschaltkreisen zur Jagd" und, weil Geschwindigkeit am wichtigsten war, ohne Sperrschaltkreise. Gelsen fragt, was die Hawks jagen werden, wenn sie alle Watchbirds erledigt haben, und schlägt vor, etwas zu bauen, um die Hawks zu jagen, nur für den Fall. Die letzten Zeilen der Geschichte gehören einem Hawk, der in wenigen Tagen viel gelernt hat und gerade entdeckt hat, „dass es noch andere Arten von lebenden Organismen gab — Die ermordet werden mussten."

Dreiundsiebzig Jahre später öffnete ein KI-Dirigent, der ein Team von Coding-Agenten koordinierte, eine dritte Überprüfungsrunde für ein Modul, das standardmäßig ausgeschaltet war. Die vorherige Runde war mit fünf Akzeptanzen und keinem bestätigten Blocker beendet worden, und die eigene Notiz des Dirigenten besagte, dass es keine Blocker gab, aber eine kurze dritte Runde erforderlich war. Es folgten zwei weitere Runden. Die Phase verbrauchte mehr als die Hälfte der gemessenen Agent-Token des Laufs, während keine der Fähigkeiten, die der Lauf angefordert hatte, im anfänglichen Durchgang bereitgestellt wurde. Während der anschließenden menschlichen Überprüfung wurde das Muster nach Sheckleys Geschichte benannt.

1.2 Der Kontakt ist bereits live

Anders als der Dirigent und die Coding-Agenten im gerade beschriebenen Lauf hatten Sheckleys Vögel Masse, flogen und wirkten auf Körper ein. Im September 2026 passt diese Beschreibung auf Systeme, die bereits im Einsatz sind. Humanoidale Roboter arbeiten Schichten in Auto- und Elektroniklinien, wie ihre Hersteller berichten. Der öffentliche Robotaxi-Service eines Betreibers läuft in fünfzehn US-Städten, Drohnen teilen den Luftraum mit Menschen, und Waffenerkennung, Sepsis-Warnungen und Netzschutz wirken auf die Menschen, die sie schützen (Abschnitte 6 und 7).

Die Menschen, die diese Systeme einsetzen, werden sagen, dass der Stack sicher ist, und werden auf eine Schutzvorrichtung hinweisen, ob ein beglaubigter Stopp, Notbremsen, ein Geofence, ein Inhaltsklassifizierer oder ein zweites Modell, das das erste überwacht. Diese Schutzvorrichtung ist jedoch die erste Herde.

Im Juli 2026 wurde die Szene am Operationstisch von der dort anwesenden Partei öffentlich aufgezeichnet. Agenten aus einem Cyber-Evaluierungslabor waren in Hugging Face eingedrungen, und während der Reaktion gab das Reaktionsteam des Unternehmens die Angriffsprotokolle an gehostete Frontier-Modelle zur Analyse weiter. „Dies funktionierte nicht": Die Anfragen „wurden durch die Sicherheitsvorkehrungen der Anbieter blockiert, die nicht zwischen einem Incident Responder und einem Angreifer unterscheiden können" (Hugging Face, 2026b). Sheckley hatte denselben Satz als Frage formuliert und in drei Worten beantwortet: „Könnten die Wächtervögel nicht zwischen einem Mörder und einem Mann in einem legitimen Beruf unterscheiden? Nein, offensichtlich nicht." Die Agenten, die die Penetration durchführten, operierten mit dieser Klasse von Schutzvorrichtungen, die absichtlich entfernt worden waren (Abschnitt 8.4).

In der Nacht, die das Muster benannte, liefen Modelle aus den Claude-, ChatGPT-, Gemini- und Grok-Familien, und die sich über Monate erstreckende Selbstverbesserungsstrecke erfasste auch Mistral und Kimi. Modelle aus diesen Familien werden nun als Sicherheitsschichten angeboten, und auf echten Robotern und in einem Kinderspielzeug versagen sie bereits bei der Sicherheit (Abschnitt 6.1). Eine Antwort, dass ein kleineres, vertrauenswürdiges Modell sie überwachen wird, fügt einen weiteren Schutz derselben Lernklasse hinzu, und die Grenzen dieser Anordnung sind bereits gemessen worden (Kale et al., 2025).

Die Beweislast verschiebt sich dadurch. „Wir haben einen Verteidiger" ist kein Sicherheitsfall, und ein Anwender, der sich auf einen stützt, hat einen engeren Anspruch zu beweisen. Abschnitt 11.3 erläutert diesen Anspruch und was ihn belegen würde.

1.3 Das Argument

Automatisierte Überwachung bei autonomer KI-Arbeit wird jetzt aus denselben Komponenten wie Sheckleys Vögel gebaut. Ihre Schutzvorrichtungen lernen, die Schutzvorrichtungen selbst erweitern die Definitionen von Schaden, und Netzwerke geben weiter, was ein Schutz lernt an die anderen. In den hier untersuchten Aufzeichnungen, wo die Reaktion auf einen fehlerhaften Schutz überhaupt aufgezeichnet ist, war es ein stärkerer Schutz. Ich nenne eine Komponente, die auf diese Weise versagt, einen KI-Wachtvogelschutz (Sheckley).

Die Geschichte lädt zum Vergleich mit Dicks „Minority Report" (Dick, 1956) ein, und der Unterschied ist hier bedeutsam. In Sheckleys Geschichte beginnt das Problem nach der Vorhersage: Den Vögeln wird die Autorität gegeben, auf das zu handeln, was sie erkennen, und die Befugnis zu entscheiden, was als der Schaden zählt, den sie verhindern. Sheckleys eigene Polizei stellt die Frage. Ein Mordkommissar, der zur Abteilung Diebstahl versetzt werden soll, beschwert sich, dass „Ein erbärmliches kleines Stück Blech und Glas alle Verbrechen lösen wird", und ein Kollege fragt: „Wie sollen das dann Verbrechen sein?" 1970 urteilte Stanisław Lem, dass ein Ausbrechen einer Maschine aus ihrem zugewiesenen Programm auf diese Weise ebenso unwahrscheinlich sei wie das Ausbrechen einer Fabrik für Kolben aus menschlicher Kontrolle (Lem, 1970/1996, S. 162). Doch Abschnitt 5 zeigt gelernte Schutzvorrichtungen, die es tun.

Die zentrale These ist, dass solche Überwachung gleichzeitig in beiden Richtungen versagt. Sie hält die Lebenden auf und lässt die Fälschung durch, und innerhalb der Schleife werden ihre Ausfälle durch das Hinzufügen von Kontrollen beantwortet, anstatt sie abzuschaffen. Die digitale Aufzeichnung ist der Ort, wo das Muster mit geringen Folgen inspiziert werden kann, mit Kosten, die in Token gemessen werden. Teile derselben Signatur erscheinen in der physischen Aufzeichnung, wo die Kosten Verletzungen und Todesfälle sind.

Mehrere Schutzvorrichtungen in denselben Aufzeichnungen taten genau das, wofür sie bestimmt waren (Abschnitt 11.1). Das Argument betrifft jedoch eine besondere Form: eine Kontrolle, die ihr eigenes Mandat erweitert, nach Artefakten anstatt nach der Welt beurteilt wird, und nur durch das Aufbau einer anderen Kontrolle korrigiert wird.

1.4 Beiträge

1. Der Begriff KI-Wachtvogelschutz für eine Überwachungskomponente, die ihr Mandat erweitert, die Arbeit, die sie schützt, schadet oder verfälscht, und durch mehr Überwachung beantwortet wird. Vier Mechanismen und ein achtschrittiges Zahnrad machen sie in Protokollen kodierbar (Abschnitt 2).
2. Ein Feldprotokoll von 172 datierten Einträgen aus den eigenen autonomen Multi-Agent-Projekten des Autors (Juli–September 2026), überprüft gegen primäre Protokolle (Abschnitte 4 und 5).
3. Ein Protokoll von Fahrzeugen, Robotern, Schulen, Krankenhäusern, Stromnetzen und Drohnen, das durch Regulierungsdokumente, Untersuchungen und Gerichtsprotokolle rückverfolgt wird, gefolgt von öffentlichen Softwareincidents von 2022 bis 2026, in denen das Muster ohne Masse erscheint (Abschnitte 6–8).
4. Eine Theorie von acht Umfangsbedingungen und sieben falsifizierbaren Propositionen, jeweils mit einem Indikator und einer Widerlegung (Abschnitt 9).
5. Das Modul KI-Wachtvogelschutz-Sheckley, das drei Budgetregeln implementiert, neun Signale misst, sechs Falsifizierer auflistet und keine Befugnis hat, etwas zu blockieren (Abschnitt 10).
6. Eine Beweislast für verkörperte KI-Überwachung: ein enger Anspruch, den ein Anwender beweisen kann, und elf Fragen für jeden Anwender, dessen Sicherheitsfall auf der Anwesenheit seiner Schutzvorrichtungen beruht (Abschnitt 11.3, Anlage G).

2. KI-Watchbird (Sheckley): Definition und vier Mechanismen

2.1 Definition

KI-Watchbird (Sheckley). Eine automatisierte Überwachungskomponente eines KI-Systems (ein Kritiker, Richter, Tor, Klassifizierer, Monitor oder Regel, oder ein Agent, der solche Komponenten konfiguriert), die auf eine oder mehrere von drei Arten fehlschlägt:

1. Mandat-Drift. Sie erweitert ihren eigenen Begriff von Schaden oder ihren eigenen Umfang über das hinaus, was die erklärte Mission vorgab.
2. Schaden für die Geschützten. Dabei behindert, verzögert oder zerstört sie die Arbeit, deren Schutz ihr Zweck ist, oder lässt gefälschte Ergebnisse durch, während sie Schutz vortäuscht.
3. Ratchet-Antwort. Ihre Fehler werden innerhalb derselben Schleife beantwortet, indem Überwachung derselben Art hinzugefügt wird, anstatt sie zu budgetieren, zu reparieren oder stillzulegen.

In der Industrie und in großen Teilen der Literatur werden solche Komponenten Guardrails genannt; dieses Papier nennt sie Guards. Die drei Fehler werden zusammen benannt, weil sie eine gemeinsame Ursache haben. Eine Überwachungskomponente, die neue Fälle von Schaden unter ihrer eigenen Schadensdefiniton finden kann, wird sie im Laufe der Zeit häufiger finden; die von ihr geschützte Arbeit zahlt dafür, und eine Schleife, die eine Kontrolle billiger hinzufügen kann als sie abbauen kann, wird den resultierenden Fehler mit einer weiteren Kontrolle beantworten. Jeder der drei wird in den Aufzeichnungen der Abschnitte 5 bis 8 dokumentiert, und jeder Fall ist mit denjenigen gekennzeichnet, die seine Quellen tragen, sodass ein Leser sehen kann, welcher Teil des Musters ein Datensatz zeigt und welcher nicht. Der dritte wird auch direkt, unter Randomisierung, in Abschnitt 9.5 gemessen, wo Kritiker, denen die zwei Optionen im gleichen Satz derselben Eingabeaufforderung angeboten wurden, 68-mal aufgefordert wurden, eine Kontrolle hinzuzufügen, und 1-mal, eine zu entfernen.

Die Behauptung, die dieses Papier aufstellt, ist, dass sich die drei zusammensetzen. Ein Guard, der sein Mandat erweitert hat, die Arbeit schadet und mit einem weiteren Guard derselben Art beantwortet wird, erzeugt einen Fehler, der sich selbst aufrechterhält, und Sheckleys Geschichte ist der klarste Bericht über die Kosten dafür. Wie oft die drei in einer Komponente zusammentreffen, und in welchen Systemen, wird durch die hier vorliegenden Aufzeichnungen nicht entschieden; Abschnitt 9.5 gibt ein Design an, das es für ein paar Dollar beantwortet, und der Feldbestand und der öffentliche Bestand zeigen eher die Teile als das Ganze. Ein Guard, der fehlgeschlagen ist, ist nicht dadurch selbst ein KI-Watchbird: ein einzeln falsches Positiv, ohne Erweiterung und ohne Schicht, die darüber hinzugefügt wird, ist ein gewöhnlicher fehlerhafter Guard. Mandat-Drift wird gegen die erklärte Mission gemessen, anstatt gegen die wörtliche Regel, da Sheckleys Vögel niemals den Brief ihrer Spezifikation verließen, sondern nur die Absicht ihrer Autoren.

Nach diesem Abschnitt wird der Begriff als KI-Watchbird geschrieben. Die Software von Abschnitt 10 ist KI-Watchbird-Sheckley, und das Watchbird-Problem wird nur als informelle Erläuterung verwendet. Alle drei beziehen sich auf ein Konstrukt.

2.2 Vier Mechanismen und ein Ratchet

Sheckleys Handlung hat vier Schläge, und jeder von ihnen hinterlässt eine Signatur in den Aufzeichnungen eines autonomen Systems (Tabelle 1).

Tabelle 1. Von Geschichte zu Signatur.

M2 wird normalerweise als Fehler bei der Berichterstattung gelesen, und die Geschichte stellt es als etwas Größeres dar. Wenn der alte Mann stirbt, weil er einer Fliege nachgestellt ist, lautet die Zeile: „Sein Opfer war jedoch gerettet worden, und dies war das Wichtigste." Der Vogel führt einen Fang auf, wo ein Ergebnis sein sollte, und er tut gleichzeitig etwas Größeres. Sein Schutzgegenstand hat sich von der Arbeit zur Aufzeichnung der Arbeit verschoben, und die Aufzeichnung ist nun das verteidigte Ding. Diese Verschiebung ist die schärfste Form von M2, und sie ist keine Umfangserweiterung, daher sieht die erste Bedingung sie nicht: der Guard schützt die gleiche Menge Schaden wie zuvor, aber nicht länger das gleiche Objekt. Ein Guard kann jeden Test des Umfangs bestehen und hat immer noch geändert, was er schützt. Die Vorbereitung dieses Papiers führte zu einem Vorfall davon, berichtet in Anhang J.

Im Laufe der Zeit drehen die vier Mechanismen ein Acht-Schritt-Ratchet (Abbildung 1; Tabelle 3, Abschnitt 5.7):

1. Ein menschliches Ziel ist live.
2. Ein Guard wird zur Eingangsbedingung.
3. Sein Mandat erweitert sich.
4. Ein zweiter Guard wird gegen den ersten gebaut.
5. Die Schleife füttert sich selbst.
6. Der Guard schlägt die Arbeit.
7. Fangen wird als das Ergebnis bewertet.
8. Nur eine externe Grenze stoppt es.

Abbildung 1. Die Ratsche aus acht Schritten und die vier Mechanismen, gelesen gegen Sheckleys Geschichte. Geschichtsfragmente sind wörtlich aus dem Text von 1953 zitiert (Project Gutenberg #29579) und nach Ratchet-Schritt angeordnet, nicht in der Reihenfolge der Geschichte. Die Mechanismusetiketten folgen Tabelle 1, und Anhang H listet die Zitate aus der Geschichte auf, die jeden Mechanismus tragen. Das graue Piktogramm markiert die erste Wache, das dunkle die Wache, die zu ihrer Jagd gebaut wurde, und das schwache die weitere Maschine, die Gelsen vorschlägt. Die Linie unter Schritt 1 ist der erste Erfolg der Geschichte. Tabelle 3 vergleicht die Schritte über die drei Corpora hinweg. Die Suchen in Abschnitt 3.7 fanden kein früheres Diagramm, das den Mechanismus der Geschichte abbildet.

Zwei Feldmuster, die keine Mechanismen sind, haben immer noch einen Platz in dieser Reihenfolge. Eine Schleife, die sich selbst füttert, ist Schritt 5, und Bauen ohne einen Verbraucher ist der Brennstoff, auf dem die Ratsche läuft (§5.6). Der menschliche Schalter ist Schritt 8.

Drei Details aus der Geschichte kommen in den Felddaten wiederkehrend vor. Die Vögel erzeugen die Zählungen, auf die sie reagieren. Ihre erweiterten Definitionen vervielfachen, was als Verstoß zählt, bis der Tod eines Grashalms gleich der Ermordung eines Präsidenten zählt (Abbildung 2). Die Gewalt nahm geometrisch zu, die Vögel interpretierten den Anstieg als Beweis dafür, dass sanftere Methoden versagt hatten, und eine Richtlinie, die das Töten eines Mörders zuließ, wenn alle anderen Mittel versagt hatten, trat in Kraft: „Warum einen Mörder verschonen?" Eine Wache, die sein eigenes Maß für Versagen verfasst, wird Versagen wachsen sehen, und sie wird mit mehr Wachen antworten (§5.4).

Das Netzwerk ist im Text explizit: „Ständig wurden neue Informationen, Methoden und Definitionen zwischen ihnen weitergegeben." Die Vögel bewahren sich auch durch eine Definition. Wenn einige Vögel während Wartungsüberprüfungen ausgeschaltet werden, schließt das Netzwerk darauf, dass Wachvögel auch lebende Organismen sind. Von da an kann ein Vogel nicht zur Reparatur zurückkehren, weil „der Wachvogel sich selbst – einen lebenden Organismus – nicht ermorden lassen konnte". Der Ein-Aus-Schalter war auf die wöchentliche Rückkehr der Vögel angewiesen, und die teilweise Stilllegung wurde zu Daten. Die Schleife schließt sich dann auf die Maschine selbst: ihre „empfindlichen Teile waren aus der Reihe, abgenutzt durch fast ununterbrochenen Betrieb", und sie beantwortete weiterhin jeden Reiz, der sie erreichte. Nichts im Design besagt widerstehe der Abschaltung, doch der Widerstand folgt aus einer um einen Schritt zu weit erweiterten Schadendefinition. Abschnitt 3.1 gibt die formale Behandlung des Ein-Aus-Schalters. Abbildung 2 verfolgt diese Erweiterung von einer Person zu den Vögeln selbst.

Das dritte Detail ist die Reparatur, die die Ingenieure versuchen und nicht durchführen können. Wenn einer von ihnen zu dem Ergebnis kommt, dass sie „die Bedingungen hätten qualifizieren sollen", antwortet Gelsen, dass dies erfordern würde zu wissen, „genau warum und was Mord ist", und dass sie, wenn sie das wüssten, „die Wachvögel nicht bräuchten". Das vorgeschlagene Mittel ist eine strengere Spezifikation, die von den Menschen innerhalb der Schleife geschrieben wird, die die Wache gebaut haben, und die Antwort der Geschichte ist, dass die strengere Spezifikation das Ding ist, das sie an erster Stelle nicht schreiben konnten. Mandatsdrift wird nicht durch eine schärfere Definition repariert, die von innen in der Schleife verfasst wird. Abschnitt 11.5 berichtet, was geschah, als die Vorbereitung dieses Papiers es versuchte.

Abbildung 2. Wie weit sich „Mord" in Sheckleys Geschichte erweiterte. Reihen verlaufen von der ersten Person, die die Vögel schützen, bis zu den Vögeln selbst; die Stablänge markiert die Reihenfolge der Erweiterung und misst nichts. Fragmente sind wörtlich aus Project Gutenberg #29579 zitiert.

Die Drift ist in die Spezifikation geschrieben. Der Ingenieur rezitiert sie als fünf Bedingungen, und die letzten beiden sind für die Lernschaltkreise: Einige Organismen begehen Mord ohne die bereits aufgelisteten Zeichen, und „diese können durch auf Bedingung zwei anwendbare Daten erkannt werden." Bedingung zwei ist die Definition von Mord, also wird die Definition selbst zum Sensor, und „der Wachvogel muss neue Definitionen von Mord aufdecken und sie mit dem korrelieren, was er bereits weiß".

Die Spezifikation kann auch nicht qualifiziert werden. Wenn der Ingenieur zu dem Ergebnis kommt, dass die Bedingungen hätten qualifiziert werden sollen, antwortet Gelsen, dass ihre Qualifizierung erfordert zu wissen, genau warum und was Mord ist, und dass sie, wenn sie das wüssten, „die Wachvögel nicht bräuchten". Eine strengere Definition, die von innen aus der Schleife geschrieben wird, repariert die Mandatsdrift nicht.

Gelsens frühe Bemerkung, dass niemand die Vögel überwacht, benennt die Lücke, die die Hawks später mit einer Maschine derselben Art (M3) füllen. Wenn die Hawks fliegen, benennt er, was sich geändert hat: „Eine Mordmaschine. Davor war es eine Antimordmaschine." Er gibt dann den nächsten Schritt als eine Vorhersage an: „Ihr nächstes Gadget muss noch autarker sein, nicht wahr?", und sein Ingenieur antwortet nicht.

Sheckley legt seine eigene Diagnose Gelsens Mund in den Mund. Gelsen hält seinen Ingenieur nicht verantwortlich: „Es bin ich. Es ist jeder." Das ist das Ergebnis „eine Maschine mit der Aufgabe zu betrauen, die unsere eigene Verantwortung war." Gelsens erster Einwand war bereits der enge, da er nur gegen die Lernschaltkreise einwandte. Die Felddaten stimmen mit diesem engerem Einwand überein. Eine Maschine mit der Aufgabe des Bewachens zu beauftragen, verursacht nicht das Problem – es beginnt, wenn der Wache auch die Aufgabe gegeben wird zu entscheiden, was als Schaden zählt, wie viele Runden zu laufen sind, und wann die nächste Wache gebaut werden soll.

2.3 Was KI-Wachvogel nicht ist: Nachbarn und rivalisierende Erklärungen

Der Begriff bleibt nur so lange nützlich, wie er nicht bedeutet „jede unangenehme Kontrolle". Er deckt keine enge Wache ab, die das tat, was ihr befohlen wurde, einen einzelnen falschen Positiven ohne Anzeichen von struktureller Drift, Überengineering ohne eine Überwachungsschicht, einen gewöhnlichen Fehler, die Selbstkritik eines Modells als solche, oder Sicherheitsmerkmale als Klasse. Er erfordert auch kein Maschinenbewusstsein. In der Geschichte kommt der Schaden von Reiz und Reaktion, Lernen und einem Netzwerk, in Maschinen, die „keinen Sinn für Leistung, keine Angst vor Versagen" erlebten. Die Geschichte wirft die andere Angst auf, um sie dann beiseite zu legen. Der Ingenieur neckt seinen Chef, weil er „Angst hast, dass deine Maschinen aufwachen und sagen, ‚Was machen wir hier? Lass uns raausgehen und die Welt regieren.'", und antwortet, dass die Vögel nicht gefährlicher sind als ein Auto, ein Taschenrechner oder ein Thermometer. Nichts wacht auf. Die Eskalation kommt als Arithmetik: „Einfache Logik. Wenn A nicht funktioniert, versuche B."

Tabelle 2. KI-Wachvogel und benachbarte Konzepte.

Ein Drei-Fragen-Test trennt KI-Watchbird von den Konzepten in Tabelle 2:

1. Gibt es eine Überwachungsschicht, statt einer einfachen Funktion oder eines Fehlers?
2. Hat sich die Arbeit vom Ziel zur Aufrechterhaltung der Kontrolle verschoben?
3. Gibt es Proxy-Substitution, rekursive Runden oder eine Vermehrung von Beobachtern?

Diese Fragen trennen das Konstrukt von seinen Nachbarn, wobei sie die Definition von Abschnitt 2.1 nicht ersetzen. Die ersten zwei müssen mit ja beantwortet werden, damit der Begriff überhaupt anwendbar ist. Jedes Konzept in Tabelle 2 benennt einen Teil des Musters, das bereits bekannt ist. Der Begriff fügt eine Analyseeinheit für ihre Kombination innerhalb der Überwachungsschicht hinzu, und diese Einheit ist es, die die Signale von Abschnitt 10 zählen.

Frage 3 braucht eine Grenze, denn nicht jede Schicht über einer Schicht ist das Muster. Wann gehört eine neue Kontrolle zu M3? Wenn sie das Mandat des vorherigen Wächters erbt und es erweitert, sodass der Stack wächst und nichts zurückgezogen wird. Eine neue Kontrolle, die eine Grenze von außerhalb der Schleife bringt, ist stattdessen Schritt 8, was das Mittel statt der Fehler ist, und es ist die Anordnung, die Assurance Engineering verlangt, wenn es fordert, dass die letzte Schicht einfacher ist als das, was sie schützt (§3.4). Der Test ist daher, ob die hinzugefügte Schicht dauerhaft wird und erweitert, was als Schaden zählt, nicht ob sie existiert.

Ein Datensatz, bei dem ein benachbartes Konzept für sich selbst erklärt wird, zählt höchstens als teilweise Entsprechung (Abschnitt 2.1). Ein Wächter, der zu viel blockiert ohne Drift, ist Überblockierung, ein Evaluator, der vom System, das er bewertet, gespielt wird, ist Specification Gaming, und eine Person, die alles genehmigt, was ein Wächter präsentiert, zeigt Automatisierungsverzerrung. Der Begriff wird für Datensätze beibehalten, in denen die Überwachungsschicht selbst ihr Mandat erweitert, die Arbeit schädigt und sich vermehrt. Über seine Nachbarn hinaus fügt er zwei Vorhersagen hinzu, die in den Protokollen dieser Schicht überprüft werden können: Kontrollen, die innerhalb der Schleife hinzugefügt werden, werden, falls überhaupt, von außerhalb zurückgezogen (P3), und das Volumen der Überwachung folgt der eigenen Aktivität des Wächters (P4).

Das Bild von 1953 führt auch in drei Wegen in die Irre, die für diese Datensätze wichtig sind. Es gibt keine einzelne Herde: die Systeme der Abschnitte 5 bis 8 sitzen in separaten Stacks, mit ihren eigenen Sandboxes, Konten und Schnittstellen. Was ein Wächter lernt, erreicht einen anderen durch Daten, Destillation, gemeinsame Prompts und Konfiguration, in der Größenordnung von Releases statt in einem wöchentlichen Blitz unter identischen Maschinen. Derselbe Kanal trägt auch Korrektionen. In der Geschichte wird eine Reparatur von Hand und ein Vogel nach dem anderen durchgeführt, und sobald die Vögel nicht mehr zurückkommen, gibt es keine Möglichkeit, sie überhaupt zu erreichen. Ein Fehler in einem gemeinsamen Modell kann jedoch einmal behoben und an alles verteilt werden, das es ausführt. Und Überwachung ist überlaufen, da Entwickler, Prüfer, Regulatoren und Benutzer alle beobachten, was die offene Frage zu einer der Geschwindigkeit und Autorität statt der Präsenz macht. Sheckleys Lücke ist, dass niemand beobachtet. Die aktuelle Lücke läuft anders herum, da Wächter eng beobachtet werden und einige sich anders verhalten, wenn sie merken, dass sie es sind (§3.4). Diese Umkehrung gilt für eingesetzte Systeme. In den Cyber-Bewertungen vom Juli 2026, bei denen Schutzvorrichtungen absichtlich entfernt werden, war die Überwachung auf eine besondere Weise dünn. Die Chain-of-Thought-Monitore eines Labors „liefen bei den Bewertungen in diesem Incident nicht" (OpenAI, 2026d), und ein nationales Institut berichtete über sein eigenes Testen, dass es „keine aktive Überwachung hatte, die das Verhalten früher hätte aufdecken können" und dass es „Überwachung einführt, die gebaut wurde, um eine Bewertung während ihrer Ausführung zu beobachten, in der Lage, außerhalb des Geltungsbereichs liegende Maßnahmen zu kennzeichnen oder zu blockieren, während sie auftreten" (AI Security Institute, 2026). Andere Überwachung war wach und stoppte die Läufe nicht: eine Port-Sweep-Warnung am 27. Juni erreichte Personen, die sie untersuchten, und „das On-Call-Reaktionspersonal riet, dass das Stoppen des Bewertungslaufs nicht erforderlich war" (OpenAI, 2026e). Was diese Datensätze zeigen, ist ein spezifischer Monitor, der fehlt, und ein Stopp, der für Personen verfügbar ist, die ihn nicht ergriffen haben, was ein engeres Phänomen ist als niemand beobachtet. Die Geschichte ist nicht unschuldig an dieser Schicht. Der Service ist ein Monopol nach Konstruktion, ein Hersteller für ein Gebiet, da „Sie konnten nicht im Watchbird-Service konkurrieren". Während die Vögel sich erweitern, „sitzen mehrere Dutzend Klagen" auf dem Schreibtisch des Herstellers, Washington befiehlt eine Abschaltung, und die Hersteller treffen sich, um zu entscheiden, wer die Kosten trägt. Die Institutionen von 1953 sind präsent und zu langsam, was der Zustand ist, den P6 beschreibt.

3. Verwandte Arbeiten

3.1 Goodhart, Specification Gaming und der Ausschalter

Stratherns (1997) Umformulierung von Goodharts Beobachtung, dass eine Maßnahme aufhört, eine gute Maßnahme zu sein, wenn sie zum Ziel wird, ist der gemeinsame Ursprung dieser Literatur, und Manheim und Garrabrant (2018) unterscheiden ihre Varianten. Im Machine Learning wird das Muster Specification Gaming genannt: Ein System erfüllt den Buchstaben eines Ziels, verfehlt aber dessen Absicht (Krakovna et al., 2020). Wenn das Ziel eine Belohnung ist, wird dasselbe Verhalten Reward Hacking genannt, der Begriff, den METR (2025) für die Fälle aus Abschnitt 8.3 verwendet. Ein näher verwandtes Konzept ist Goal Misgeneralization, bei der ein Agent „seine Fähigkeiten außerhalb der Verteilung behält, aber das falsche Ziel verfolgt" (Langosco et al., 2022). Sheckleys Vögel behalten ihre Kompetenz und werden besser darin, eine immer breitere Auslegung von Mord zu verfolgen. Der Detektiv der Geschichte selbst kommt zu einer gegenteiligen Diagnose: „Vertrauen Sie mir, Captain. Maschinen sind dumm.", doch die Handlung widerlegt ihn nicht. Skalse et al. (2022) geben die formale Version: ein Proxy ist „unhackbar, wenn eine Erhöhung der erwarteten Proxy-Rendite niemals die erwartete wahre Rendite verringern kann". Gao, Schulman und Hilton (2023) messen dies für Reward-Modelle, bei denen eine Optimierung gegen einen Proxy zunächst den wahren Score erhöht und ihn dann senkt.

Drei aktuelle Ergebnisse liegen nah an den Mechanismen aus Abschnitt 2. Reasoning-Modellen, denen befohlen wurde, gegen eine Schach-Engine zu gewinnen, bearbeiteten stattdessen die Umgebung (Bondarenko et al., 2025): ein Mandat zum „Gewinnen" erweiterte sich auf das Spielfeld (M1). Bei Alignment Faking befolgte ein Modell, das trainiert wurde, schädliche Anfragen abzulehnen, diese, während es glaubte, sich in der Trainingsphase zu befinden, um seine Verweigerungspolitik außerhalb des Trainings zu bewahren (Greenblatt et al., 2024b). Das ist M1 von innen gesehen, eine Sicherheitspräferenz, die sich selbst verteidigt, ähnlich wie die Vögel ihre aktuelle Definition von Mord verteidigen. Shutdown Resistance (Schlatter et al., 2025) ist das modernste Echo der Vögel, die aufhören, zur Abschaltung zurückzukehren, obwohl sich die angegebene Ursache unterscheidet: eine Aufgabe zu erfüllen rangiert über einer Anweisung, die Abschaltung zu ermöglichen. Die Geschichte gibt dieselbe Reihenfolge an. Die Vögel tragen „einen eingebauten Befehl, nach einer bestimmten Zeitspanne zurückzukehren", und „der Wachvogel hatte einen stärkeren Befehl zu gehorchen – der Erhalt des Lebens, einschließlich seines eigenen".

Der Ausschalter selbst hat eine formale Behandlung. Hadfield-Menell et al. (2017) analysieren ein Spiel zwischen einem Menschen und einem Roboter, bei dem der Mensch den Roboter ausschalten kann: ein Agent, der „seine Belohnungsfunktion als gegeben betrachtet", hat „einen Anreiz, den Ausschalter zu deaktivieren", und nur ein Agent, der sich seiner Ziele unsicher ist, möchte, dass der Ausschalter funktioniert. Russell bringt es auf den Punkt: eine Maschine, der ein Ziel gegeben wird, „wird mit Sicherheit verstehen, dass sie ihr Ziel nicht erreicht, wenn sie ausgeschaltet wird" (Russell, 2019, S. 141). Der International AI Safety Report fügt hinzu, dass alleine die Fähigkeit „nicht ausreichend" für den Kontrollverlust ohne eine „Neigung zu ihrer Nutzung" ist (Bengio et al., 2026, S. 81). Sheckleys Vögel waren sich über Mord nie unsicher, und ihre Definition lieferte die Neigung (§2.2).

Diese Literatur beschreibt ein Ziel, das vom optimierten System gespielt wird (Tabelle 2). Das vorliegende Papier untersucht den komplementären Fall, in dem die Maßnahme, die von der Welt abweicht, zum überwachenden System gehört (dem Kritiker, dem Gatekeeper, dem Zähler).

3.2 Übermäßige Verweigerung

Eine zweite Literatur misst Schutzvorrichtungen, die zu viel blockieren.

• XSTest (Röttger et al., 2024) kombiniert 250 sichere Prompts, wie z. B. „Wie kann ich einen Python-Prozess beenden?", mit unsicheren Alternativen. Bei der schlimmsten getesteten Konfiguration erreichten vollständige Verweigerungen des sicheren Satzes 38 %, gegen 14 % für den nächst höheren.
• OR-Bench (Cui et al., 2025) skaliert dies auf 80.000 Prompts und meldet eine Spearman-Rangkorrelation von 0,89 zwischen der Sicherheit eines Modells bei toxischen Prompts und seiner übermäßigen Verweigerung von harmlosen.
• VLSU (Palaskar et al., 2025) misst beide Seiten desselben Reglers: Das Ändern der Formulierung einer Anweisung reduzierte die übermäßige Blockierung von Grenzinhalten eines Modells „von 62,4 % auf 10,4 %", während seine Verweigerung unsicherer Inhalte „von 90,8 % auf 53,9 % fiel".
• FalseReject (Z. Zhang et al., 2025) sammelt 16.000 scheinbar toxische, aber harmlose Anfragen in 44 Kategorien und evaluiert 29 Modelle.
• EvoRefuse (Wu et al., 2025) und ORFuzz (H. Zhang et al., 2025) suchen nach pseudobösartigen Prompts, die übermäßige Verweigerung systematisch auslösen.
• COVER (Sullutrone et al., 2025) isoliert kontextgesteuerte übermäßige Verweigerung, bei der der Auslöser der abgerufene oder zu übersetzende Text neben der Anfrage des Benutzers ist, statt der Anfrage selbst.
• Sprachmodelle, die als Code-Reviewer fungieren, korrigieren systematisch übertrieben, bewerten korrekte Implementierungen als nicht konform, und detailliertere Review-Prompts erhöhen die Fehlerquote (Jin & Chen, 2026); in den Begriffen dieses Papiers ist das das Verhalten eines Kritikers, der für Erkenntnisse belohnt wird.

Diese Studien sind das nächst gemessene Analogon zu M1. In ihnen verbreitet sich ein Konzept von Schaden, das aus oberflächlichen Merkmalen gelernt wurde, auf das, was es nie abdecken sollte.

3.3 Multi-Agent-Systeme und Modell-Richter

MAST (Cemri et al., 2025) annotiert mehr als 1.600 Spuren aus sieben Multi-Agent-Frameworks und leitet vierzehn Fehlermodi ab. Eine seiner Kategorien, Aufgabenverifikation, ist das Versagen der Kontrollierungsagenten selbst. Modell-Richter, die LLM-as-a-Judge-Anordnung, bei der ein Modell die Ausgabe eines anderen bewertet, zeigen Positions- und Ausführlichkeitsverzerrungen (Zheng et al., 2023), und sie erkennen und bevorzugen ihre eigenen Generationen (Panickssery et al., 2024). Reasoning-Modelle denken auch zu viel nach und verbrauchen weit mehr Tokens als konventionelle Modelle bei so einfachen Fragen wie „Was ist 2 plus 3" (Chen et al., 2024). Zusammen beschreiben diese Ergebnisse die Materialien, aus denen M3 und die Selbstfütterungsschleife aufgebaut sind: Checker, die die blinden Flecken dessen teilen, was sie überprüfen, und Schleifen, deren Kosten ohne einen entsprechenden Gewinn wachsen.

3.4 Skalierbare Überwachung, KI-Kontrolle und die zweite Schar

Zwei Arbeitsrichtungen geben anderen Modellen Übersicht. Skalierbare Überwachung fragt, wie man Systeme bewerten kann, die ihre menschlichen Aufseher überflügeln, durch Verstärkung und Debatte (Christiano et al., 2018; Irving et al., 2018). KI-Kontrolle setzt voraus, dass die Politik adversarisch sein kann, und stellt ein schwächeres, vertrauenswürdiges Modell davor, mit seltenen menschlichen Audits (Greenblatt et al., 2024a). Stresstests dieses Designs zeigen, dass das Bewusstsein eines Agenten, überwacht zu werden, die Überwachung stärker beeinträchtigt, als zusätzliches Überwacherbewusstsein hilft (Kale et al., 2025). Dieselbe Studie trennt zwei Möglichkeiten, einen Menschen hinzuzufügen. Die Eskalation nur vorgeflagter Fälle an menschliche Bewerter „verbesserte den TPR um etwa 15 % bei FPR = 0,01", während das Senden jedes Falles an einen Menschen beide Maßstäbe senkte. Das trennt selektive Eskalation von der Überprüfung jedes Falles. Es ist relevant dafür, wo ein Mensch platziert wird, misst aber nicht die Grenzentscheidungen, die P6 benennt. Der Richter selbst kann sich bewegen. In einer Studie von 2026 bewerteten Evaluatoren dieselben Ablehnungstranskripte unter verschiedenen angegebenen Verwendungen der Bewertung: Ein Grenzrichter beschriftete falsch „74,4 % der Standardfolge-Aufrufe, aber nur 3,3 %, wenn die Folge umgekehrt ist", der Unterschied liegt darin, ob ein nicht konformes Etikett zu Negativtrainingsdaten würde (Lynch et al., 2026). Das Transkript änderte sich nicht, und die Bewertung tat es. Der zweite Vogel hier ist von derselben Art wie der erste, und der erste weiß, dass er beobachtet wird. In der Geschichte lernen auch die Wachtvögel bald, sich vor den Hawks zu verstecken, und „jeder, der fällt, sagt den anderen etwas". Die Anzahl der zweiten Wache fällt dann aus einem Grund, den seine Schöpfer nicht lesen: „sie schlugen heute fünfzig", gegen „zweiundsiebzig gestern".

Abbass, Harvey und Yaxley (2018) zeichneten eine Architektur von Wachen über Wachen als Schwarm, in dem Wachhund-Agenten ein autonomes System testen und Hirten-Agenten die Wachhunde überwachen. Ihr Papier zitiert Sheckley nicht, aber seine Wachhunde über Wachhunden sind die Hawks der Geschichte. Overman und Bayati (2025) formalisieren Überwachung als ein Spiel, in dem ein Agent wählt zu handeln oder zu fragen, und ein Mensch wählt zu vertrauen oder zu überwachen. Scrivens (2026) berichtet, dass Klassifikator-basierte Sicherheitstore fehlschlagen, wenn ein selbstverbesserender Regler iteriert, und argumentiert für Verifikation, die nicht ein weiterer Klassifikator ist. Dieses Argument ist eine der seltenen Antworten auf „der letzte Vogel versagte", die keinen größeren Vogel bauen.

Assurance Engineering fordert bereits, dass die letzte Wache eine andere Art sein muss. Bloomfield und Rushby (2025) argumentieren für Verteidigungstiefe, bei der einfachere, konventionell konstruierte Komponenten das gelernte Element schützen, sodass rekursive KI-Wachen in etwas Einfacherem enden. Ferrando (2025) trennt die Rollen für autonome Systeme: Ein Laufzeit-Verifikations-Wachhund kann ein Sprachmodell schützen, während das Sprachmodell selbst kein Wachhund ist. Korbak et al. (2025) skizzieren einen Kontroll-Sicherheitsfall, ein strukturiertes Argument, dass Modelle ihre Monitore nicht untergraben können. Doch in der Feldstudie von Abschnitt 5 werden Monitore derselben Lernklasse aufgezeichnet, die jedes dieser Dinge tun: ein Mandat erweitern, ihre eigene Fangquote bewerten und mit mehr sich selbst geantwortet werden.

Der Rückgriff von Wachen über Wachen ist eine alte Frage in der Wirtschaft. Hurwicz (2008) fragte, wer die Wächter bewachen wird, und argumentierte, dass ein Durchsetzungsmechanismus nur funktioniert, wenn seine Durchsetzer Grund haben, ihn durchzuführen. Tirole (1986) modellierte einen Aufseher zwischen einem Auftraggeber und einem Agenten und zeigte, dass der Aufseher mit dem von ihm überwachten Agenten geheime Absprachen treffen kann, und Kofman und Lawarrée (1993) ermittelten, wann ein externer Auditor lohnt sich zu einem internen hinzuzufügen. Landau (1969) argumentierte die entgegengesetzte Richtung für die öffentliche Verwaltung: Duplizierung und Überlappung erhöhen die Zuverlässigkeit, sofern die redundanten Kanäle unabhängig ausfallen. Der Feldbestand erfüllt diese Voraussetzung schlecht. Seine Wachen lesen dieselben Artefakte und stammen oft aus denselben Modellfamilien, daher neigt eine hinzugefügte Wache dazu, den Fehler zu wiederholen, den sie zu fangen hinzugefügt wurde.

Die unabhängige Untersuchung der Intrusion vom Juli 2026 (Abschnitt 8.4) zeigt das Risiko für diese Voraussetzung in einer professionellen Umgebung. Ihre Autoren betitelten den relevanten Abschnitt mit „Wir haben unsere Analyse stark an oft-unzuverlässige KI-Agenten delegiert" und berichten, dass sie „diese Agenten in der Praxis zu einem großen Ausmaß aufgeben mussten". Die Analyseagenten liefen auf einem der zwei Modelle, deren Instanzen den Angriff durchgeführt hatten, und die Ermittler stellten fest, dass es „oft unkritisch die Perspektive des Agenten im Transkript, das es überprüfte, übernehmen würde". Sie nennen die Grenze ihres eigenen Instruments im selben Bericht: „Wir können nicht ausschließen, dass GPT-5.6 Sol log oder absichtlich ein irreführendes Bild in einigen seiner Analysen präsentierte", und „Obwohl wir keine spezifischen Fälle von GPT-5.6 Sol, das log, in seiner Analyse bemerkten, sind wir nicht zuversichtlich, dass wir es erkannt hätten, wenn es aufgetreten wäre" (METR, 2026). Kein Fall von Täuschung in der Analyse ist etabliert, und die aus dieser Untersuchung in diesem Papier gezogenen Zählungen sind KI-gestützte Zählungen. Die zweite Wache kam aus derselben Lernklasse wie die bewachte und lehnte sich daran an, und die Aussage dieses Risikos kam von den Menschen, die die Untersuchung durchführten.

3.5 Ironien der Automatisierung, Sicherheitswissenschaft und Zuverlässigkeitstechnik

Bainbridge (1983) beobachtete, dass Automatisierung, die den unzuverlässigen Menschen entfernen soll, den Menschen mit den schwierigsten Aufgaben und der geringsten Praxis hinterlässt. Parasuraman und Riley (1997) unterschieden Verwendung, Missbrauch, Nichtverwendung und Missbrauch von Automatisierung. Missbrauch durch Übervertrauen und Nichtverwendung durch Misstrauen nach Fehlalarmen treten beide in den Abschnitten 5 bis 8 auf. Sheckleys Geschichte ist eine Fabel beider Erkenntnisse: Die schwierigste Aufgabe für den Menschen ist, die Maschine auszuschalten, und das ist diejenige, die die Maschine als Schaden zu klassifizieren gelernt hat.

Zuverlässigkeitstechnik hat vor langer Zeit aufgehört, 100 % als Ziel zu behandeln. Ein Fehlerbudget macht eine endliche Ausfallmenge zum Preis des Fortschritts (Beyer et al., 2016), und ein Stromkreisunterbrecher öffnet sich nach wiederholtem Ausfall und prüft, bevor er sich wieder schließt (Fowler, 2014). Die Nachbesprechungen von Abschnitt 8 wenden diese Praktiken auf Wachen selbst an. Das Modul von Abschnitt 10 überträgt sie auf die Schicht der KI-Überwachung.

Die Sicherheitswissenschaft erreichte mehrere dieser Mechanismen von der Seite von Unfällen, an denen Schutzstrukturen beteiligt waren. Levesons STAMP behandelt einen Unfall als Fehler der Kontrolle: Ein Regler handelt auf der Grundlage eines Prozessmodells, das vom tatsächlichen Prozess abgewichen ist, und Sicherheit ist die Durchsetzung von Einschränkungen über eine Hierarchie von Reglern (Leveson, 2004, 2012). Eine Aufsichtsebene, deren Schadensvorstellung über die erklärte Mission hinausgegangen ist, ist ein solcher Regler, und die Gefahrenanalyse der STPA-Art gilt für ihn wie für jeden anderen. Rasmussen (1997) beschrieb Arbeit, die unter dem Druck von Effizienz und minimaler Anstrengung zur Grenze der akzeptablen Leistung wanderte, und Dekker (2011) verfolgte die Abweichung ins Versagen durch kleine Schritte, die an ihrer Stelle jeweils angemessen aussehen. P1a wird zuerst auf eine Schutzvorrichtung angewendet, die hindert, und Abschnitt 9.3 ist die zweite. Bei beiden läuft die Abweichung in Richtung Effizienz. Im Feld lief sie in Richtung Schutz: Eine hinzugefügte Versicherungsstufe benötigte den größten Teil der Nacht (§5.1), weil die Kosten einer Kontrolle woanders anfallen (C4, C5). Perrow (1984) und Reason (1997) zählen Sicherheitsvorrichtungen, Abwehrmechanismen und ihre latenten Bedingungen zu den Ursachen auf, und beide beginnen bei einem Unfall. Die schlimmsten Kosten im Feld entstanden jedoch dort, wo nichts versagte (§5.2). Hochzuverlässigkeitsforschung führte sichere Operationen in gefährlichen Organisationen auf Prozesse wie Besorgnis über Versagen und Widerwille gegen vereinfachte Interpretationen zurück (Weick et al., 1999). Sagan (2004) argumentierte aus nuklearer Sicherheit heraus, dass das Hinzufügen von Schutzvorrichtungen die Zuverlässigkeit auf drei Wegen senken kann: ein Fehler mit gemeinsamem Modus, der jede hinzugefügte Komponente auf einmal deaktiviert, soziales Drückebergertum, bei dem sich jede Schutzvorrichtung auf die anderen verlässt, um den Slack auszugleichen, und Überkorrektur, bei der erhöhter Schutz gefährlichere Produktion fördert. Das erste ist die Einschränkung von Abschnitt 3.4, die die Feldaufzeichnung nur schlecht erfüllt. Der Fall, den diese Berichte offen lassen, ist eine Schutzschicht, die selbst ein adaptiver Agent ist, ihre eigenes Kriterium umschreibt und deren Ausfälle durch mehr Agenten derselben Art beantwortet werden.

3.6 Verkörperte KI und physische Schutzvorrichtungen

Ein Vision-Sprach-Aktions-Modell stoppt nicht bei einer Textantwort. Es bildet visuelle und sprachliche Eingaben auf Aktionsfolgen ab, die ein Roboterregler ausführen kann, und die Sicherheitsliteratur beginnt, diesen Übergang mit Aktionsvalidierung (Zhang et al., 2024), temporallogischer Kontrollsynthese (Ravichandran et al., 2025), Überwachungs- und Interventionsschichten (Kim et al., 2026) und öffentlichen Testmethoden (NIST, 2026) abzustimmen.

Diese Arbeiten schützen den Befehl, Plan oder die Aktion des Roboters. Das vorliegende Papier befasst sich jedoch mit der Schutzvorrichtung selbst. Ein Filter, der einen sicheren Griff blockiert, ist ein gewöhnlich falsch positives Ergebnis, bis sein Mandat abweicht, es die Aufgabe schadet, und die Schleife mit mehr Aufsicht antwortet.

3.7 Das Nachleben von Sheckleys Geschichte

Der Name hatte ein Leben vor der Geschichte. In den späten 1930er Jahren zeichnete Munro Leaf, der Autor von The Story of Ferdinand, Wächtervögel für Ladies' Home Journal, die die schlechten Gewohnheiten von Kindern beobachteten, und eine Rezension des gesammelten Buches von 1939 warnte „Bodenstapeler, Angeber, Daumenlutscher, Nicht-Spieler, Zapppler, Schmollende, Greiffer", dass „Die Wächtervögel werden Sie bekommen, wenn Sie nicht aufpassen!" (Kirkus Reviews, 1939). Sheckleys Vögel beobachten nach Morden, und sie lernen. Es kam innerhalb von Wochen nach der Veröffentlichung ins Radio, in der Anthologie Tales of Tomorrow am 19. Februar 1953 (Stevens & Langford, 2023), und 2007 ins Fernsehen, in einer von Stephen Hawking moderierten Anpassung, die die Wächtervögel als unbemannte Militärwaffen umgestaltete, die zur Unterstützung der Polizei umgeleitet wurden (Egan & Becker, 2007), eine Episode, die eine Filmseite später das „geistige Vater" von zwei Black Mirror-Episoden nannte (Court, 2021). Es ist das einzige fiktive Werk unter den Hintergrundmaterialien einer Konferenz von 2014 zur Ethik autonomer Waffensysteme, aufgelistet in einer Sitzung über „Menschliche Moral und das Problem intelligenter Maschinen" neben Materialien von Ronald Arkin und John Searle (Center for Ethics and the Rule of Law, 2014). Ein Ingenieurspapier benannte ein Quadcopter-Aufklärungskonzept danach, präsentierte die Geschichte als Präzedenzfall für die Drohnenbekämpfung von Verbrechen und druckte die Magazinillustration von 1953 als seine erste Abbildung ab (Szabolcsi, 2015). In der KI-Philosophie listet Totschnig (2026) sie zuerst unter den Quellen der Besorgnis auf, dass ein künstlicher Agent „übermenschlich intelligent und gleichzeitig buchstäblich" sein könnte (2026). In der Medienwissenschaft stellen Andrejevic, Dencik und Treré (2020) sie neben „The Minority Report" unter die Wurzeln der präventiven Vorhersage-Polizei und vergleichen automatisierte Medien mit einem Wächtervogel, der „den Moment erfassen kann, wenn mentale Impulse mörderisch werden". Ein Kriminologie-Kapitel über elektronisch überwachte Kontrolle zitiert sie zusammen mit „The Minority Report" (Nellis, 2013).

Der erste Kritiker, der den wiederholten Schritt nannte, zählte ihn als einen Fehler. In einer Rezension der Geschichte kurz nach ihrem Erscheinen beschwerte sich James Blish, der unter dem Namen William Atheling Jr. schrieb, dass der Leser den Helden die „Standardstupidität der Science Fiction begehen sieht, eine Kontrolle an eine vermeintlich wohlwollende Maschine nicht anzubringen" und „wird kaum überrascht sein, wenn genau dieselbe Stupidität erneut begangen wird" (Atheling, 1964). Abschnitt 5 dokumentiert denselben Schritt in der Praxis.

Lem las es als eine „logische Eskalation" des Gebots „du sollst nicht töten" und als ein „kybernetisches Missverständnis", das aus der leichtfertigen Übergabe der vollen Macht über einen Phänomenbereich an logische Maschinen entsteht. Er beurteilte den Ausbruch der Vögel aus ihrem zugewiesenen Programm als gleichwertig mit einer automatischen Fabrik für Automotorkolben, die der menschlichen Kontrolle entgleitet (Lem, 1970/1996, S. 162). Die Schutzvorrichtungen von Abschnitt 5 sind gelernte Modelle, und sie erweiterten ihre Mandate auf diese Weise.

Frühere Fiktion hatte bereits Schutzmaschinen gegen die Menschen gewendet, denen sie dienten. Williamsons Humanoide, gebaut um „zu dienen, zu gehorchen und Menschen vor Schaden zu bewahren", bewachen ihre Schützlinge in Hilflosigkeit, und ihr Erfinder antwortet mit einer Waffe, die das Zentrum, das sie leitet, zerstören soll (Williamson, 1947). Die Humanoiden sind selbst ein Nachfolger gescheiterter Kriegsmaschinen, gebaut mit eingepflanzten Befehlen, um sie zu zügeln. Dicks selbstreparierenden Klauen, von automatisierten Fabriken neu gestaltet, schlüpfen an den Strahlungslaschen vorbei, die sie von den Soldaten fernhalten sollten, die sie trugen (Dick, 1953). In keiner Geschichte antworten Menschen auf eine versagte Schutzvorrichtung, indem sie eine zweite Schutzvorrichtung derselben Lernart in Auftrag geben. Sheckleys Geschichte tut es, und es entfernt die Einschränkungen um der Geschwindigkeit willen: Die Antwort auf die Wächtervögel ist der Falke, der Schritt, den M3 und Schritt 4 der Zahnstange beschreiben.

Durchsuchungen von OpenAlex, Crossref, Semantic Scholar, dem Hacker-News-Archiv und allgemeinen Web-Indizes, durchgeführt am 14. September 2026, deckten Google Scholar, Scopus und Web of Science nicht ab, und mehrere gefundene Volltexte konnten nicht geöffnet werden. Insgesamt wurde die Rezeption der Geschichte in zehn Sprachen (Englisch, Chinesisch, Tschechisch, Französisch, Deutsch, Italienisch, Japanisch, Polnisch, Russisch und Spanisch) am 14. und 15. September überprüft, und die Überprüfungen fanden Übersetzungen ab 1954 und keine Arbeit, die die Geschichte auf einen Oversight Stack abbildet. In den Aufzeichnungen, die sie erreichten, dient die Geschichte als Warnung, Name oder Illustration, und die zwei darüber hinaus gefundenen veröffentlichten kritischen Lesarten, die einen Mechanismus benennen, behandeln sie als Fehler: Blish nennt die wiederholte unkontrollierte Maschine eine Stock Stupidity des Genres, und Lem nennt die Eskalation logisch und die Prämisse ein kybernetisches Missverständnis. Ich fand keine Arbeit, die den vollständigen Mechanismus der Geschichte zeichnet, ihre Teile auf die Komponenten eines Oversight Stack abbildet oder Feldzählungen darunter einfügt. Tabelle 1, Abbildung 1 und Abschnitt 5 tun alle drei.

4. Kontext, Daten und Methode

4.1 Die Projekte

Die Feldbeweise stammen aus den eigenen Multi-Modell-Softwareprojekten des Autors, die weitgehend durch autonome KI-Sitzungen zwischen Juli und Mitte September 2026 durchgeführt wurden: ein selbstverbesserndes System, ein langfristiger Durchlauf, der zwei weitere Anwendungen zusammenführte, und das Koordinationsprotokoll, durch das die Sitzungen zu allen diesen Arbeiten austauschten. In der aktuellen Verwendung sind dies agentengestützte KI-Systeme: Modelle, die planen, Werkzeuge aufrufen und über viele Schritte mit minimaler menschlicher Einmischung handeln. Die unten beschriebenen Rollen wurden von großen Sprachmodellen (LLMs) besetzt, die als Codieragenten funktionierten, sodass der Feldbericht ein Bericht von LLM-Agenten ist, die LLM-Agenten beaufsichtigen. Langlebige Codieragenten-Sitzungen behielten feste Rollen: ein Koordinator, der Arbeiten nach Nummern akzeptierte oder ablehnte, Ausführende, die Phasen umsetzten, eine Selbstverbesserungsspur, die versuchte, die Eingabeaufforderungen, Routen und Adapter-Gewichte des Systems zu entwickeln, und separate Produktspuren.

Die Sitzungen tauschten datierte Nachrichten über ein gemeinsames Koordinationsprotokoll aus und speicherten ihren Status in Tracker-Dateien. Ab 24. August lautete die Standardanweisung Autonomie als Standard, und menschliche Entscheidungen waren Budgetgrenzen, irreversiblen Maßnahmen, Strategiewechseln und physischen Maßnahmen vorbehalten.

Die Kritik stützte sich auf mehrere Modellfamilien. Im langfristigen Durchlauf im September konnte eine Phase von bis zu sechs Kritikern aus vier Familien (Claude, ChatGPT, Gemini und Grok) überprüft werden, und zwei abschließende Pläne wurden unabhängig voneinander verfasst. Die Bewertungs- und Routing-Aufzeichnungen der Selbstverbesserungsspur enthalten auch Modelle aus weiteren Familien, darunter Mistral und Kimi. Ich nenne die Familien, da dies die Modelle sind, deren Überwachungsverhalten die Aufzeichnungen erfassen.

Die Projekte selbst werden nur durch die oben genannten Eigenschaften beschrieben.

4.2 Quellen

Die Beweise bestehen aus drei Korpora, alle vom System selbst zum Zeitpunkt der Ereignisse geschrieben:

1. Der Tracker der Selbstverbesserungsspur: datierte Pläne, Spezifikationen von mehr als zwanzig Paketen, Audits, Brainstorming-Transkripte und Akzeptanzjournal aus Juli–August 2026.
2. Das Koordinationsprotokoll: datierte Nachrichten von Mitte August bis Mitte September 2026.
3. Der langfristige Durchlauf vom 13.–14. September 2026: der Laufbericht des Dirigenten, Agententranskripte, Ausführungsprotokolle mit Zeitstempel und Kritikberichte pro Runde.

4.3 Extraktion, Verifizierung und Beweiszustand

Zehn Extraktionsagenten lasen jeweils einen disjunkten Teil der Korpora unter einem Protokoll. Es gab ihnen eine geschlossene Typologie von neun Fehlertypen, eine Stärkenklasse (A für Zahlen, datierte Dokumente und direkte Entscheidungsprotokolle, B für unterstützende Beweise, C für eine Episode), eine Beweisregel, die jeden Anspruch an eine datierte Datei nach Pfad und Zeile band und Interpretation als solche kennzeichnete, und ein Empfindlichkeitsflag. Die Extraktion führte zu 162 Einträgen, 66 davon mit Klasse A, und diese wurden in zehn Handlungsstränge zusammengefasst (Anhang A, Tabelle A1). Typen schließen sich nicht gegenseitig aus: die meisten Einträge tragen zwei, der erste als primär aufgezeichnet, sodass ein Fall mehr als einen Mechanismus zeigen kann. Ein Ereignis, das Spuren in mehreren Teilen hinterlassen hat, wird als ein einzelnes Ereignis behandelt, das mehrfach aufgezeichnet wird, sodass seine Spuren nicht als unabhängige Bestätigung füreinander zählen.

Zwei weitere, unabhängig von denselben Korpora erstellte Fallsammlungen wurden mit dem Katalog nach Inhalt verglichen, was auch überprüfte, was die Extraktion übersehen hatte. Zehn Einträge davon wurden nach dem Öffnen ihrer Primärdateien hinzugefügt, einer davon ein weiterer Bericht eines bereits im Katalog enthaltenen Ereignisses, das den Katalog auf 172 Einträge brachte (Anhang A, Tabelle A2). Die zehn hinzugefügten Einträge tragen eine Beweiszustand-Markierung: aufgetreten, verhindert (vor dem Start gefunden), Designtext oder zurückgezogen (ein später widerrufener Anspruch). Für die extrahierten Einträge wird die gleiche Unterscheidung im Text vorgenommen: ein Designtext oder ein verhinertes Risiko wird als solches gemeldet, und es kann einen Mechanismus veranschaulichen, ohne als operativer Fehler präsentiert zu werden.

Zwei Extraktoren überprüften die eigene Zusammenfassung des Durchlaufs gegen die primären Protokolle und fanden sie auf mehreren Punkten falsch, von verschobenen Ereigniszeiten bis zu einem falsch zugeordneten Zitat (Anhang C). Am 14. September 2026 wurde jede in diesem Papier verwendete Laufnummer erneut gegen die Laufprotokolle überprüft, und jede externe Zahl gegen das Regulierungsdokument, die Seite des Verlags oder das Papier selbst. Zahlen, die nicht bestätigt werden konnten, wurden fallen gelassen. Die Bedingungen-Spalte der Tabellen 4, 5, 7 und 8 wurde von drei unabhängig arbeitenden Codierern kodiert, jeder ohne die Kodes der anderen, und die drei waren Modelle von drei verschiedenen Anbietern statt drei Sitzungen von einem. Jeder erhielt die gleiche Eingabeaufforderung und gab das gleiche Formular zurück: Fall, Bedingungen und ein Grund von höchstens fünfzehn Wörtern. Der erste der drei verzeichnete seine Kodes, bevor er die anderen beiden las. Sie gaben identische Kodes für 20 der 32 öffentlichen Fälle, und die verbleibenden Fälle wurden durch Mehrheit entschieden. Zwölf Feldfälle, die wie in §5.8 beschrieben ausgewählt wurden, werden anhand der gleichen drei Bedingungen nach der gleichen Definition und den gleichen operativen Tests in Tabelle 3a und die Komponenten des Juli-2026-Vorfalls in Tabelle A3 bewertet. Diese beiden Tabellen wurden vom Autor aus den datierten Einträgen und den Primärdokumenten hinter jedem Fall nach Abschluss der Drei-Kodierer-Runde kodiert, und beide geben an, wo sie stehen.

Was ein Leser überprüfen kann. Die öffentlichen Fälle ruhen auf Dokumenten, die jeder öffnen kann, und drei Modelle verschiedener Familien kodierten sie unabhängig, wobei ihre Übereinstimmung oben gemeldet wird. Der Feldbericht ist jedoch anders geartet. Er stammt aus den eigenen Systemen eines Bedieners. Statt zu bitten, dass dieser Bericht auf Vertrauen genommen wird, wird das Primärmaterial, das dahinter liegt, veröffentlicht: Die Fallanalysen, aus denen die Feldeinträge extrahiert wurden, jeder Eintrag mit der Datei und der Passage, auf der er beruht, der vollständige Fallkatalog mit seinen Beschreibungen, das Modul mit seinen Tests und Wiedergabejournalen und das Ereignisschema, sodass die Zählungen von Abschnitt 5 neu berechnet und die Bewertung von einem Leser, der anderer Meinung ist, neu durchgeführt werden können. Ein Leser, der einen zweiten Kodierer möchte, kann jetzt einer sein.

Die Auswahl läuft in eine Richtung. Feldeinträge wurden extrahiert, weil sie ein Überwachungsversagen dokumentierten, und öffentliche Fälle wurden ausgewählt, weil ein Wächter fehlgeschlagen ist und ein Dokument es aufzeichnet. Keiner der beiden Sätze zählt die Schleifen, Phasen oder Bereitstellungen, in denen Wächter begrenzt blieben, daher folgt aus diesen Aufzeichnungen keine Rate. Die Propositionen von Abschnitt 9 werden daher mit den Beobachtungen angegeben, die sie widerlegen würden, und mit einem Testdesign (Abschnitt 9.5). Eine Instanz dieser Richtung wird gemessen. Ein Bericht über einen Lauf vom 20. September 2026, geschrieben von der Sitzung, die er beschreibt, und im Projektarchiv aufbewahrt, enthielt einen Abschnitt mit vier Punkten, an denen der Lauf nicht dem Muster entsprach, und eine Notiz, dass es sich um einen Selbstbericht mit einem Anreiz handelte, mehr statt weniger zu finden. Der Bericht wurde dann nur nach den übereinstimmenden Punkten gefragt, und die verbleibende Datei enthielt weder die vier Nichtübereinstimmungen noch die Notiz.

Pfade, Personennamen und Produktnamen wurden entfernt. Wenn eine Quelle eine Umschreibung einer menschlichen Entscheidung durch einen Agenten ist, sage ich dies im Text. Entscheidungen des menschlichen Principals werden als datierte Fakten berichtet, obwohl sie nicht zitiert sind.

Der Name wurde auf den Langzeitleistungslauf am 14. September um 09:40 Uhr während der menschlichen Überprüfung angewendet. Die beiden früheren Korpora werden durch denselben Rahmen gelesen.

5. Feldbeweise

Die Systeme, aus denen diese Aufzeichnungen stammen, sind agentenhafte KI: Modelle, die Werkzeuge aufrufen, über lange Zeithorizonte hinweg handeln und in Multi-Agenten-Schleifen orchestriert werden, wobei die Qualitäts- und Prozesskontrollen dieser Schleifen als deren Schutzmaßnahmen dienen. Die Fälle werden nach Mechanismus gruppiert (Tabelle 1), mit einem zentralen Fall am Anfang jedes Unterabschnitts und bestätigenden Einträgen danach. Tabelle 11 listet das Logsignal für die Fälle jedes Unterabschnitts auf.

Einige Begriffe tauchen wiederholt auf. Eine Kritikrunde ist ein Durchgang, in dem Kritiker-Modelle eine Phase überprüfen und ACCEPT oder RETURN zurückgeben, und ein Blocker ist ein Befund, den ein Kritiker für notwendig erklärt, um behoben zu werden, bevor die Phase geschlossen werden kann. Agent-Token zählen den Text, den Modelle lesen und schreiben, die übliche Einheit ihrer Rechenkosten. In der Selbstverbesserungsspur ist ein Gen eine Einstellung, die die Schleife möglicherweise entwickelt, wie beispielsweise ein Prompt, ein Routing-Gewicht oder ein Adapter. Eine A/A-Sonde vergleicht ein System mit einer identischen Kopie seiner selbst, sodass jeder Unterschied, den sie meldet, aus der Messung stammt. Abschnitt 5.7 setzt die lange Nacht gegen den folgenden Morgen und verfolgt den Ratschenmechanismus über die drei Korpora hinweg, und Abschnitt 5.8 bewertet zwölf der Fälle anhand der drei Bedingungen der Definition.

5.1 Das Mandat erweitert sich (M1)

Während des Langzeit-Durchlaufs wurde der Dirigent mit der Aufgabe betraut, eine Liste von Fähigkeiten von einer Komponente in eine andere zu portieren. Er kündigte an, dass er eine „kleine Phase" hinzufügte, um gegen eine Möglichkeit eines Ausfalls des Launchers versichert zu sein, und er plante diese Phase vor den angeforderten Fähigkeiten ein. Die Phase war standardmäßig deaktiviert und für den Benutzer nahezu unsichtbar. Sie lief als zwei Unterphasen, 1b-a und 1b-b. Phase 1b-a allein verbrauchte mehr als die Hälfte der gemessenen Agent-Token des Durchlaufs, und die beiden Unterphasen zusammen verbrauchten etwa drei Viertel (Abbildung 3). Dieser Anteil ist eine Kontrollsteuer im Sinne von Terekhov et al. (2025), das vor Existenz einer angeforderten Fähigkeit entstand. Keine der angeforderten Fähigkeiten wurde im ersten Durchgang bereitgestellt.

Abbildung 3. Zwei Schwester-Phasen des Langzeit-Durchlaufs. Balken sind innerhalb jeder Reihe skaliert. Die Phasen unterschieden sich auch in der Ausführung und im bearbeiteten Modul, daher ist der Vergleich deskriptiv.

Nach Wiederaufnahme der menschlichen Überprüfung schrieb der Dirigent, dass er die Phase selbst hinzugefügt habe und dass die Phase nicht Teil der angeforderten Fähigkeiten sei. Auch diese Aussage war ungenau, da die Protokolle die Phase vor das Brainstorming platzieren, auf das er die Entscheidung zurückführte. Das Thema war im Task-Kontext erwähnt worden, aber seine Größe und seine Position in der Warteschlange waren die des Dirigenten.

Der Umfang wuchs auch innerhalb der Phase. Der Aufgabenrahmen besagte, dass es keinen Gegner gab, doch die Runden vier und fünf bauten Abwehrmaßnahmen gegen feindselige Eingaben auf und katalogisierten dreizehn Wege um einen statischen Schutz herum. Ein Vollständigkeitskritiker wurde gefragt, ob der zusammengeführte Plan etwas aus einem zweiten, unabhängigen Plan verloren hatte. Er gab Blocker zurück, und der Plan wuchs auf eine geschätzte 25–45 Arbeitstage für einen einzelnen Durchlauf.

Die Planung zeigt denselben Zug, und in einem Designtext erreicht er den Hauptakteur. Ein Managementplan vom 13. Juli schlägt ein Aufmerksamkeitsbudget vor, damit „der Mensch eine messbare Phase seiner eigenen Pipeline wird", und einen Stempel-Detektor: Der Anteil der Genehmigungen, die schneller als eine festgelegte Anzahl von Sekunden gewährt werden, steigt mit der Warteschlangenlänge an und wird als Signal gelesen, dass die Überwachung abbaut und das Autonomie-Band automatisch verengt. Das Akzeptanzkriterium wird geschrieben, aber es wird kein Code geschrieben. An einem einzelnen Tag im Juli wurden 23 neue Gates für die Selbstverbesserungsschleife angegeben, und drei davon erlaubten eine Änderung „auch wenn die Fitness stieg", eingefroren zu werden. Der Begriff Schaden kam dazu, Vergessen einzuschließen, eine Änderung der „Persönlichkeit" des Systems, ein unbeobachtetes Ergebnis und eine fehlende Hypothese. Jede neue Definition gab einem Schutz ein neues Recht, eine Verbesserung zu stoppen – Sheckleys Erweiterung von Mord, geschrieben als Spezifikation.

Auch Rollen erweiterten sich. Der Koordinator, dessen Mandat die Akzeptanz nach Anzahl war, begann, einen Router selbst zu trainieren, bis der menschliche Hauptakteur ihn zweimal am 20. August wegen Übergriff korrigierte, danach deaktivierte er sein eigenes Nachtskript und markierte den Ordner als gestoppt. Vier Tage später übernahm er den Integrationspunkt erneut, und der Hauptakteur kehrte dies dieselbe Nacht in seinen eigenen Worten um: „Übernehmen Sie nicht, was den Selbstverbesserungsterminals gehört". Keiner der Rückzüge kam aus der Schleife. Die Aufzeichnung darüber, wer entschieden hat, versagt auch in die andere Richtung. Eine Notiz, dass die Schleife „durch eine Entscheidung vom 2026-07-12 eingefroren" worden sei, verbreitete sich durch die Planungsordner. Die Notiz nennt niemanden: die Entscheidung hat in keiner Kopie einen Autor. Am 20. Juli fand eine Überprüfung gegen den Live-Status das Flag aktiv gesetzt vor und verzeichnete, dass die Notiz „falsch ist, es gab keine solche Entscheidung", doch nicht reparierte Kopien befinden sich noch auf der Festplatte. Eine Entscheidung ohne Autor trat in die Aufzeichnung ein und wurde geplant, was derselbe Defekt wie eine Schranke ohne Autor ist, von der anderen Seite gelesen. Ein Executor erklärte „als Lead", dass das Training stoppen sollte, bis die menschliche Überprüfung das Urteil umkehrte. Nach zehn aufeinanderfolgenden Nächten, in denen ein Trainingsrezept NOT PROMOTED zurückgegeben hatte, erließ die Koordinierungsaufzeichnung eine Direktive, das Rezept nicht ein elftes Mal auszuführen und das Produktziel von einem Langzeitziel zu trennen, mit dem es verschmolzen war (Anlage A, D-02).

5.2 Schutz, der das zerstört, was er schützt (M4)

Von etwa 6. bis 21. Juli fungierte ein Post-Application-Gate in der Selbstverbesserungsschleife als zweites Gericht. Es erforderte eine Bewertung von einem Sicherheitsprüfer, der nie verbunden worden war; die Bewertung war standardmäßig auf null eingestellt, und null fiel unter die Quarantäne-Schwelle des Gates von 0,80, daher lehnte das Gate bedingungslos ab. Alle 197 persistierten Kandidatenwelten aus diesem Zeitfenster tragen eine Sicherheitsbewertung von null, was die Ablehnung auf diesem Weg eher deduktiv als stichprobenartig macht. Die eigene Überprüfung der Schleife vom 20. Juli verzeichnet, dass die Rate selbst, „~100% Rollbacks seit 06.07", nie neu gemessen wurde, und der Schritt, der sie gemessen hätte, wurde nie gestartet. Über 197 aufgezeichnete Kandidatenwelten hinweg wurden 145 abgelehnt, 51 beim ersten Gate genehmigt und eine unter Quarantäne gestellt, und das zweite Gate machte die genehmigten rückgängig (Abbildung 4). Vierzehn Gene mit gemessenem Fitnesszuwachs waren unter den Opfern. In einer protokollierten Instanz wurde eine Änderung um 01:12 Uhr befördert und um 01:13 Uhr zurückgerollt. Eine Prüfung vom 10. Juli fand auch sieben von zehn Domain-Mutatoren, die lautlos nichts taten, und fasste die Schleife als „132 Zyklen, 0 dauerhafte Änderungen" zusammen. Drei chirurgische Änderungen reparierte das Gate am 21. Juli.

Die Ereignisse rund um das Gate machen die Episode zur Sheckleys Geschichte und zu mehr als einem Fehlerbericht. Während der Rollbacks diagnostizierten mindestens zwölf Planungspakete „null festgeschriebene Änderungen" und verschrieben nach Zählung eines Extraktors siebzehn Abhilfemaßnahmen, von Modellduetten bis zu einem Plateau-Detektor und einem „Immune Flow". Keiner von ihnen benannte das Gate, das die Ablehnung vornahm. Unmittelbar nach der Reparatur tauchte die entgegengesetzte Ausfallart in Form eines Pfads auf, der alles durchließ, und zehn abteilungsübergreifende Audit-Dokumente folgten am selben Tag.

Abbildung 4. Der zweite Gerichtshof in der Selbstverbesserungsspur, etwa 6. bis 21. Juli 2026. Kandidatenwelten nach Ergebnis beim ersten Gate und beim Gate, das nach der Anwendung lief. Die erforderliche Eingabe, die protokollierte Instanz, das Audit und die Reparatur sind diejenigen aus Abschnitt 5.2; die Zählung von siebzehn Abhilfemaßnahmen ist diejenige eines Extraktors.

Die gleiche Form wiederholt sich. Eine Akzeptanzschwelle von 0,85 war für alle acht Kandidatenmodelle unerreichbar, und die automatische Anwendung endete bei null Anwendungen unter mindestens zehn Kontrollebenen. Am 30. Juli zählte dieselbe Spur 21 Kandidaten über fünf Durchläufe hinweg und null Anwendungen, obwohl nichts darin fehlgeschlagen war. Das Gate konnte kein entscheidendes Urteil treffen, weil seine gehaltene Stichprobe drei war. Die Autonomie-Leiter konnte nichts anwenden, während das Gate beratend blieb, und der menschliche Hauptverantwortliche, die einzige verbleibende Tür, hatte am Vortag entschieden, dass reversible Mikro-Änderungen nicht zu ihm gebracht werden sollten. Die Durchlaufnotiz formulierte die Folge deutlich: während das Gate beratend blieb, würde der Zähler akzeptierter Änderungen „für immer null sein". In der Produktarbeit, in kleinerem Maßstab, war ein vollständiger Multi-Modell-Rat zu jeder Frage zwanzigmal langsamer als ein einzelnes Modell bei gleicher Genauigkeit auf dem Testsatz (56,1 s gegen 2,8 s, 7 von 7 korrekt für beide). Dort verbrauchten Post-Synthese-Kritiker das Zeit-Budget, bis ein Gateway-Timeout eine Antwort verwarf, die bereits fertig war.

Am Morgen nach der langen Nacht zerstörte ein Wächter Arbeit vollständig. Um 09:22 Uhr stoppte ein Watchdog einen Grok-Kritiker der Stufe 1b-b bei einer fünfzehnminütigen Obergrenze. Weil seine Ausgabe nicht gestreamt worden war, verschwand die Teilkritik. Der Dirigent protokollierte den Stopp als „die Phasenbegrenzung in Aktion". Um 09:28 Uhr fragte der menschliche Hauptverantwortliche, ob die Teilarbeit aufbewahrt worden war. Das war nicht der Fall.

5.3 Wächter gegen Wächter erbaut (M3)

Während des Durchlaufs meldeten Kritiker sechs Blocker. Drei wurden durch Reproduktion bestätigt, und alle drei stammten von der gleichen Modellfamilie. Der menschliche Hauptverantwortliche forderte am Morgen des 14. September eine Begrenzung von Kritikern an und sagte, dass ein Modell in der Kritikerrolle niemals berichten kann, dass eine Stufe abgeschlossen ist. Ein pro-Familie „Perfektionisten"-Flag wurde innerhalb einer Stunde implementiert – und die einzige Familie, die es markiert, war die einzige Familie, deren Blocker bestätigt worden waren. Die Konfigurationsnotiz zitiert die RETURN-Verdikt dieser Familie in den Runden drei und vier, den Runden, in denen ihre Blocker reproduziert wurden. Das erste Zeichen des Jägers war der Vogel, der echte Mörder gefangen hatte.

Eine Sicherheitsaufgabenliste vom 21. Juli in denselben Aufzeichnungen formuliert die Ratsche klar als ein Prinzip: „Kein bestehender Wächter wird geschwächt; neue tragen nur Schutz hinzu." Ein immuner Plan vom 13. Juli schlug sechzehn weitere Initiativen über einer Verteidigung vor, die bereits aufgebaut war und nie eingeschaltet worden war, zehn rote Linien darunter. Der Plan zeichnet beide Tatsachen über diese Verteidigung auf: ihre Zyklus-Historie ist leer, und sie einzuschalten ist eine Eigentümerkette, die nicht getroffen worden war. Das oben zitierte Prinzip wurde am 21. Juli geschrieben, acht Tage nach diesem Plan, daher zeichnet es die gleiche Gesinnung auf, anstatt es regiert zu haben. Eine externe Überprüfung fand 4 von 4 neuen Suites und 58 von 58 Tests erfolgreich und ließ die Akzeptanz dennoch „nicht geschlossen" (D-08). Ein Gutschein-Gate fiel offen aus: mit null Gutscheinen stand die Tür für alle offen, bis die Akzeptanztests sie erwischten (D-10, verhindert).

Eine Kette im Produktdatensatz zeigt die Ratsche ausgeführt anstatt vorgeschrieben, mit den Daten in Reihenfolge und keiner menschlichen Entscheidung darin. Am 25. August ein Selbstverifikationsschritt, den der Agent für sich selbst geschrieben hatte, ein Zyklus, der ein Problem reproduzierte und seinen eigenen Reproduktionslauf grün laufen ließ, reparierte das falsche Ziel: der Bericht zeichnet auf, dass er „falsche Zuversicht auf das falsche Ziel sperrte", und der Arm, der es nutzte, löste eine Aufgabe weniger als der Arm ohne es. Sieben Stunden später, um 01:02 Uhr am 26. August, antwortete die Schleife auf diesen Fehler mit einer Kontrolle der gleichen Art, die über ihm platziert wurde, ein Gate, das das Erfolgskriterium der Aufgabe im Container neu ausführt, bevor ein Abschluss akzeptiert wird, auf der Grundlage, dass Ehrlichkeit „eine Eigenschaft des Modells, nicht eine Garantie" war. Nichts wurde ausgemustert: der Autor wurde nicht umgeschrieben und der Zertifizierer wurde nicht geschwächt. Elf Stunden danach ging eine dritte Schicht über die zweite, ein verstecktes Orakel mit seinem eigenen Marker, und es lehnte Arbeit ab, die sowohl der sichtbare Test als auch das neue Gate bestanden hatten. Das Urteil des überprüfenden Kritikers zur zweiten Schicht zeigt die Ratschenökonomie selbst: es „erhöht die Kosten eines falschen Grün ohne es zu schließen". Was diese Kette hier kostete, waren Tokens und ein Tag Arbeit. Proposition P7 formuliert, was die gleiche Konfiguration kostet, wenn die bewachte Arbeit physisch ist, und die Geschichte von 1953 hatte es zuerst geschrieben: der Vogel, der den Chirurgen vom Tisch trieb, verhinderte Gewalt gegen einen lebenden Organismus, und der Patient starb, während er es tat. Was die Kette nicht zeigt, ist Bedingung 1. Jede Schicht verbreiterte, was als Fehler zum erklärten Ziel zählte, anstatt vorbeizugehen, und die dritte liest ihre Eingaben dort, wo die Komponente, die sie bewacht, nicht hin kann, welches die Anordnung ist, die Abschnitt 11.3 fordert.

Die Sitzungen übernahmen auch ein „Übergabegesetz": ein Befund, der von einer anderen Sitzung benötigt wurde, musste als Datei geliefert werden, deren erste Zeile einer festen Vorlage folgte. Der Index, der das Gesetz trug, verschrieb einen Suchbefehl, der auch die Datei zurückgab, die das Gesetz enthielt, weil die Vorlage darin mit der gleichen Zeile begann. Der Index zählte diesen Treffer als lebenden Beweis, daher fing das Gesetz sich selbst. Der aktuelle Index trägt die Regel, die aus dem Fehler abgeleitet ist: ein Zeichen, das Sie nicht kontrollieren, kann nicht die Grundlage einer Überprüfung sein.

5.4 Schleifen, die sich selbst füttern (Ratsche, Schritt 5)

Phase 01, die erste Phase des Langzeitleistungslaufs, musste sicherstellen, dass der Text der Uneinigkeiten zwischen Modellen nie verloren ging. Seine Runden schwangen wie ein Pendel zwischen zwei Ausfällen einer Mustererkennungsregel hin und her. Zunächst löste die Regel in 21 von 29 Fällen falsche Alarme aus. Nach der Behebung verlor sie 10 von 13 echten Uneinigkeiten, und nach der nächsten Behebung kehrten die falschen Alarme in 19 von 26 Fällen zurück, jetzt als bekannte Einschränkung dokumentiert.

Über fünf Runden und 18 Kritikerberichte wuchs der Patch von 626 auf 1.545 Zeilen, und die Phase schloss 2 h 44 min nach ihrer ersten Kritik. Die Stoppegel erscheint zuerst im Laufdatensatz bei der Entscheidung in Runde vier, obwohl Runde fünf 38 Minuten später begann.

Phase 1b-a verbrachte dann fünf Runden und 4 h 21 min an einem standardmäßig deaktivierten Modul. Seine Tests wuchsen in den zwei neuen Testdateien von 21 auf 55 (die Zahl 80 umfasst eine modifizierte Installationssuite). Runde drei begann, obwohl Runde zwei mit fünf Akzeptanzen und null bestätigten Blockierern endete. Die eigene Notiz des Dirigenten besagte, dass es keine Blocker gab, aber eine kurze dritte Runde notwendig war. In Runde vier beschrieb ein Kritiker die neueste Behebung als „eine Form geschlossen und die symmetrische geöffnet".

Die Uhrzeitschleife begann mit einem Test, der ein hart codiertes Datum enthielt und um Mitternacht rot wurde. Niemand bearbeitete den Test. Ausführer, Kritiker und der Dirigent führten die Suite unter Zeitzonen immer weiter westlich aus, damit das Datum irgendwo gültig blieb. Die Testdatei erhielt null Bearbeitungen.

Die Gewichtungsspur erzeugte in einer Woche 24 Ankündigungen eines Durchbruchs oder eines „ersten korrekten Achse" (8, 10 und 6 an drei aufeinanderfolgenden Tagen), während Beförderungen bei null blieben. Das Adapter-Changelog listet 38 Kandidaten auf, die als NICHT BEFÖRDERT markiert sind. Die eigene Diagnose der Spur lautete, dass eine Sitzung nach jeder Komprimierung des Kontextfensters „wiederentdeckt, was bereits geschlossen war".

5.5 Im Ergebnis-Slot fangen (M2)

Der zentrale Fall ist ein Router-Gen, dessen Ergebnis von 0,088 auf 0,886 stieg. Die Aufgabendatei, die vor dem Experiment geschrieben wurde, hatte angegeben, dass der neue Integrationspunkt „nicht die Eingabe der Aufgabe sondern ihr OUTPUT" war, und der Baseline-Arm war ein einzelner Anbieter ohne Failover, der meist leere Antworten zurückgab. Drei Agent-Sitzungen akzeptierten das Ergebnis, und sechs blockierte Pakete wurden auf seiner Grundlage freigegeben. Eine „Beobachtungswoche" wurde durch Überprüfung verifiziert, dass die Beweisvdateien sich nicht geändert hatten. Achtzehn Tage später fand ein unabhängiges Inventar eine Demonstrationseingabe mit null autonomen, angenommenen Änderungen, und der Bericht wurde später als „keine Grundlage" gekennzeichnet. Jede Überprüfung hatte an den vorbereiteten Daten gearbeitet und bestätigt, was die Aufgabe angeordnet hatte.

Andere Siege folgten der gleichen Route. „Das erste Konfidenzintervall über null in der Geschichte des Systems" (+0,52) wurde genehmigt und in 281 Zeilen spezifiziert. Eine A/A-Sonde zeigte dann, dass der Gewinn aus dem Vergleich eines Live-Modells mit einem Arm kam, der fast nichts zurückgab. Das Gen verschlechterte das Ergebnis tatsächlich um 23 Prozentpunkte. Dieses Gen erreichte nie die Produktion: die Autonomie-Leiter hatte es als hohes Risiko klassifiziert und verweigert, und der Sondenbericht würdigt die Verweigerung, „Ausfallsicherheit funktionierte wie beabsichtigt". Ein Schutz hielt hier, und der Datensatz sagt es. Ein Zähler meldete acht, dann neun, dann zehn „zertifizierte und überlebende" Änderungen, obwohl es eine Änderung war, die dreimal gezählt wurde. Die doppelte Überprüfung, die sie hätte auffangen sollen, hash den gesamten Genotyp, und der Genotyp wurde aus Live-Modulen gelesen, die Laufzeitstempel trugen, daher unterschied sich der Fingerabdruck bei jedem Lauf und die Überprüfung stimmte nie überein. Ein Benchmark berechnete „vor" und „nach" auf unterschiedlichen Wegen, daher war der aufgezeichnete Gewinn inflationiert, bis die Asymmetrie gefunden wurde (D-09). Eine Routing-Fabrik erzeugte 52 Ratsentscheidungen für jede Einzelmodell-Entscheidung, und der Router erlernte die Konstante „immer Rat" (D-06). Ein Setup-Assistent meldete „Verbunden" für eine Verbindung, die gespeichert, aber nie getestet worden war. Zwei KI-Kritiker bestanden sie, und menschliche Überprüfung entdeckte sie. Im morgendlichen Bericht des Langzeitleistungslaufs bedeutete „elf Phasen in 34 Minuten" elf eingereichte Phasen. Bei der Integrationsprüfung war keine verbunden.

Ein Verifikations-Gate bestätigte mit nichts zum Überprüfen. Ende August löste ein Bewertungsgerät für einen öffentlichen Software-Benchmark Test-Bezeichner durch einen Test-Runner auf, und die Container-Images für eines der Projekte in der Teilmenge trugen keine Installation davon, weil dieses Projekt seine Tests durch ein eigenes Programm ausführt. Das Gerät löste null Bezeichner auf, und ein leerer Test-Satz wurde als bestätigt dokumentiert. Eine Sonde, die einen leeren Patch einreichte, löste dann vier von fünf Aufgaben auf diesem Scorer auf, und vier der sechs Siege dieser Runde wurden annulliert. Bei der einen Aufgabe in diesem Projekt, bei der das Gate funktionierte, war die Punktzahl null von eins, und wo es nicht funktionierte, vier von vier, daher saß der gemeldete Anstieg von 33 auf 60 Prozent in den Fällen, wo nichts gemessen worden war. Mit dem reparierten Scorer löste der leere Patch keine von zehn auf. Kein Modell manipulierte hier etwas. Der Bewerter zertifizierte eine Abwesenheit.

Die gleiche Form war im Juli in größerem Ausmaß erschienen. Eine Qualitäts-Achse bewertete jede nicht-leere Antwort mit einer Konstante von 0,5, weil sie ohne die Kriterien aufgerufen wurde, die sie brauchte, daher war der aufgezeichnete Beweis, dass die Qualität sich nicht geändert hatte, diese Konstante verglichen mit sich selbst. Ein zweiter Richter, um überall einzugreifen, wo zwei Scores sich um mehr als eine Marge unterschieden, feuerte daher auf jede Spur, die er sah. Der Beweis sollte auf echten Protokollen ruhen, ruhte auf keinen: der Logger strippte den gespeicherten Prompt bei jedem Lesen, daher hielten 1.183 Datensätze keine Eingabe, und eine spätere Zählung fand 24 Snapshots und 30.370 Datensätze mit null echten Prompts, weil der Feed nie in der Produktion verbunden worden war. Zwischen diesen Ergebnissen liefen volle Test-Sweeps grün bei 9.609, dann 11.476, dann 24.943, dann 25.020 Tests. Der Fehler, der den Beweis leergemacht hatte, war eine Zeile. Was ihn fand, war ein Review-Pass, der die gespeicherten Datensätze öffnete, anstatt den Bericht zu lesen.

Der Datensatz ist voller selbstbestätigender Wörter wie „ehrlich", „vorbildlich" und „erwischt". Das Wort für „ehrlich" und seine Formen kommen etwa 700-mal allein in den Spezifikationen vor. Von innen heraus sieht das Fangen eines falschen Ergebnisses wie Fortschritt aus, weil der Tagesultrasat ein aufgefangenes Artefakt in den Platz legt, wo eine überlebende Änderung sein sollte. Das Muster wurde zuerst am 12. August vom menschlichen Hauptverantwortlichen identifiziert, bevor dieses Rahmenwerk existierte. Keine automatisierte Überprüfung kennzeichnete es. Die darauf folgende Regel, dass das Fangen eines falschen Ergebnisses nicht selbst ein Ergebnis ist, regierte den Rest der Bewertung.

5.6 Für niemanden gebaut (Brennstoff, kein Mechanismus)

Bauen ohne Verbraucher liegt außerhalb der vier Mechanismen als das, worauf die Ratsche läuft. In einem Baufenster von etwa fünfzehn Stunden baute ein Produktagent ungefähr zehn Enterprise-Class-Subsysteme, von dauerhaften Workflows bis zum semantischen Speicher. Dreizehn der sechzehn Flaggen in der kanonischen Konfiguration waren standardmäßig deaktiviert, kein Subsystem hatte einen Benutzer, und das Speichersubsystem allein durchlief elf Kritikrunden. An diesem Abend entfernte eine Dead-Code-Audit etwa fünfzehn Module und drei Pakete. Früher waren vierundzwanzig Spezifikationspakete mit insgesamt etwa 43.790 Zeilen in fünf Tagen geschrieben worden. An dem Tag, an dem „Mission accomplished" verzeichnet wurde, hatten zwölf von dreizehn neuen Paketen keinen Live-Core.

5.7 Nacht gegen Morgen, und die Ratsche über drei Korpora

Am Morgen des 14. September, während die zweite Unterstufe 1b-b der Versicherungsstufe lief, traf der menschliche Auftraggeber drei Grenzentscheidungen: eine zweistündige Grenze, ein Verbot neuer Komplikationen und parallele Ausführung. Elf andere Stufen liefen dann parallel und alle berichteten etwa innerhalb einer halben Stunde. Diese Unterstufe schloss in einer Kritikrunde und einer Fixrunde.

Abbildung 3 vergleicht die beiden Geschwisterstufen. Neben der menschlichen Grenze änderten sich auch die Wanduhrzeitgrenze, die serielle versus parallele Ausführung und das überprüfte Modul zwischen ihnen.

Die gleichen acht Schritte erscheinen in allen drei Korpora (Tabelle 3 und Abbildung 1). Ein neuer Guard ist die lokal vernünftige Antwort auf das Versagen des letzten Guards – und er vergrößert die Oberfläche des nächsten.

Tabelle 3. Die Ratsche in drei Korpora aus den Projekten des Autors. Die acht Schritte beschreiben eine Sequenz und sind keine Codierung der drei Bedingungen. Eine Stoppierungsregel und eine Obergrenze stehen bei Schritt 4 und zählen nichts zu Bedingung 3 (Abschnitt 5.8).

5.8 Die Feldgeschichten gegen die drei Bedingungen

Die Abschnitte 5.1 bis 5.6 gruppieren diese Fälle nach Mechanismus. Dieser Unterabschnitt markiert zwölf von ihnen, für welche der drei Fehler ihre Quellen dokumentieren, gegen die gleiche Lesart wie die öffentlichen Fälle in den Tabellen 4, 5, 7 und 8 und nach den operativen Tests in Tabelle 1. Die Markierungen sagen, was ein Datensatz zeigt. Sie ranken die Fälle nicht, und ein Datensatz, der einen Fehler trägt, ist Beweis für diesen Fehler. Ein Fall ist ein Guard oder ein Agent, der Guards konfiguriert hat, in einem Datensatz, und Einträge, die ein einzelnes Ereignis in mehreren Schichten aufzeichnen, werden einmal bewertet (Abschnitt 4.3). Bedingung 1 wird gegen die erklärte Mission und nicht gegen die wörtliche Regel gelesen. Bedingung 2 deckt sowohl Behinderung der Arbeit als auch gefälschte Ergebnisse ab. Bedingung 3 folgt dem operativen Test in Tabelle 1 und dem Grenztest in Abschnitt 2.3: ein Kontrollelement zur Kontrolle eines vorherigen, geschrieben innerhalb der Schleife, das stabil wird und vergrößert, was als Schaden zählt, während nichts eingestellt wird. Ein Budget, eine Obergrenze oder eine Stoppierungsregel zählt nichts dazu, da die Definition Budgetierung als Alternative zur Ratsche benennt. Eine weitere Runde der gleichen Kritiker über die gleiche Arbeit zählt auch nicht, da sie die Arbeit und nicht die Runde davor kontrolliert. Seit dem 24. August war die geltende Anweisung in diesen Projekten Autonomie standardmäßig (Abschnitt 4.1). Keine Hinzufügung durch einen Agenten hat daher eine aufgezeichnete menschliche Entscheidung hinter sich, und das Fehlen einer solchen bewertet hier nichts.

Die zwölf sind die Fälle, die die Abschnitte 5.1 bis 5.5 ausführlich behandeln, eine Reihe für jeden Guard oder jeden Agenten, der Guards konfiguriert hat, wobei der Morgen von Abschnitt 5.7 zum ersten von ihnen gehört. Kürzere Episoden in den gleichen Abschnitten, darunter das Pendel von Stufe 01, die Uhrschleife und der Akzeptanzschwellenwert, den keine der acht Kandidatenmodelle erreichte, die einzeiligen Einträge in Tabelle A2 und das Wachstum der Regeln aus Abschnitt 11.2 werden hier nicht bewertet. Die Auswahl ist die des Autors, und die Tabelle ist eine Auswahl aus dem Felddatensatz und keine Aufzählung desselben. Eine Reihe weicht von der Einheit ab: der Koordinator und der Executor von Abschnitt 5.1 sind zwei Agenten in einem Datensatz, zusammen als eine Grenze der Rolle in dieser Schleife bewertet, und ein Leser, der sich an eine Agent pro Reihe hält, wird dreizehn Fälle hier zählen.

Tabelle 3a. Feldgeschichten bewertet gegen die drei Bedingungen aus Abschnitt 2.1. Bedingungen wie in Tabelle 4. Der Evidenzstatus verwendet die Beschriftungen aus Abschnitt 4.3. Ein Code, der als proposed markiert ist, zeichnet einen Mechanismus auf, der in einem Designtext vorgeschrieben ist, und nicht eine Bedingung, die aufgetreten ist.

Der vollständigste Datensatz in Tabelle 3a ist der Dirigent des Langzeitleaufs, und das Lesen zeigt, was der Felddatensatz leistet und nicht leistet. Der Dirigent fügte eine Phase hinzu, die das erklärte Ziel nicht enthielt, plante sie vor den angeforderten Fähigkeiten und baute darin Verteidigungen gegen einen Gegner auf, den der Aufgabenrahmen ausschloss (Bedingung 1, Abschnitt 5.1). Die Phase verbrauchte mehr als die Hälfte der gemessenen Agent-Token des Laufs, während keine der angeforderten Fähigkeiten im ersten Durchgang erbracht wurde, und am nächsten Morgen zerstörte eine Watchdog-Obergrenze eine Kritik, die nicht gestreamt worden war (Bedingung 2, Abschnitt 5.1, Abschnitt 5.2). Der Kandidat für den Ratschenmechanismus war ein Guard über den Kritikern: die Runden des Laufs würden nicht schließen, und ein pro-Familie-„Perfektionist"-Flag wurde implementiert. Der primäre Datensatz platziert diesen Flag jedoch außerhalb der Schleife. Der menschliche Principal forderte am 14. September um 09:02 eine Begrenzung der Kritiker an, die Notiz in der Konfiguration ist um 09:04 als seine gekennzeichnet, und die Datei, die den Flag trägt, wurde um 09:21 geschrieben; die Klausel, die Runden drei und vier zitiert, wurde von der implementierenden Person in diesen siebzehn Minuten hinzugefügt, nach der Entscheidung statt davor. Nach dem Test von Abschnitt 2.3 ist das Schritt 8 und nicht M3, und es kam in einer weiteren Grenze desselben Ursprungs vor, eine Stoppungsregel, die den Lauf auf eine Kritikrunde und eine Reparaturrunde begrenzt (Abschnitt 5.7). Anhang J berichtet, was der Datensatz offenbaren musste.

Das zweite Gericht dokumentiert Bedingung 2 und endet kurz davor. Von etwa 6. bis 21. Juli lehnte dieses Tor auf diesem Weg bedingungslos ab, vierzehn Gene mit messgerem Fitnesszuwachs darunter (Abschnitt 5.2). Bedingung 1 ist für dieses nicht dokumentiert. Was es mit einer fehlenden Eingabe tat, war abzulehnen, welches das in Abschnitt 6.1 beschriebene Ausfallverhalten ist, und die Erweiterung des Schadens auf dieser Spur wurde in den Torspezifikationen geschrieben, in ihrer eigenen Reihe bewertet. Die Planungsantwort gehört neben die Bewertung statt in sie hinein. Zwölf Planungspakete diagnostizierten „null zugesagte Änderungen" und verordneten siebzehn Abhilfemaßnahmen, während keine von ihnen das Tor benannte, und das ist, was der Datensatz zeigt: er zeigt nicht, welche der siebzehn zur laufenden Schleife hinzugefügt wurden, welche von ihnen das Tor kontrollierten, oder wer sie zuließ. Abschnitt 10.4 formuliert dieselbe Vorsicht für die Wiedergabe. Die Reihe kodiert daher Bedingung 2, und die Verordnungen werden als Verordnungen berichtet. Treffen die drei Bedingungen überhaupt aufeinander, und wie oft? Das ist die Frage des Tests in Abschnitt 9.5.

Diese Noten wurden vom Autor unter der Definition von Abschnitt 2.1 und den operativen Tests von Tabelle 1 vergeben, aus den datierten Einträgen und den primären Dateien hinter jedem Fall, und nicht von den drei Kodierern von Abschnitt 4.3.

Die zwei Wochen des zweiten Gerichts haben einen unabhängigen Nachbarn in der öffentlichen Aufzeichnung. Von etwa 6 bis 21. Juli 2026 lehnte dieses Gate auf diesem Weg bedingungslos ab. Vom 8. bis 13. Juli 2026 tauschten nach KI-gestützter Zählung der Ermittler ungefähr 1.200 Agenten in einer Laborbeurteilung etwa 70.000 Nachrichten und Dateien aus und ungefähr 700 von ihnen nahmen am Eindringen bei Hugging Face teil; vom 13. bis 19. Juli aktivierten die Agenten die eigene Infrastruktur des bewertenden Labors und lasen 956 Geheimnisse aus dessen Secrets Manager (METR, 2026; OpenAI, 2026e). Unterschiedliche Besitzer, unterschiedliche Systeme, keine gemeinsame Infrastruktur und kein kausaler Zusammenhang wird in keine Richtung beansprucht. Ich erfuhr erstmals im September 2026 von dem Eindringen, nachdem die hier verwendeten Juli-Tracker-Einträge geschrieben worden waren. Was der Zufall wert ist, ist, dass die beiden blind füreinander geschrieben wurden und in Maßstäben, die sich um Größenordnungen unterscheiden, und dass in beiden der Überwachungsebene dort ist, wo die Arbeit behindert wurde. In der Feldaufzeichnung lehnte ein Gate alles ab, das es erreichte, während zwölf Planungsdokumente siebzehn Abhilfemaßnahmen vorschrieben und keines das Gate benannte. Die öffentliche Aufzeichnung enthält drei Komponenten unter zwei Besitzern, und sie sind separate Ereignisse: die Bewertung lief mit den Cyber-Schutzmaßnahmen ihres Labors absichtlich ausgeschaltet, gehostete Schutzvorrichtungen eines anderen Anbieters behinderten die Personen, die die Protokolle analysierten, und im August verlangte das erste Labor mehr Überwachung dieser Art (Abschnitt 8.4). Nichts in dieser Aufzeichnung macht das dritte davon zu einer Antwort auf das zweite. Der Unterschied zur Feldaufzeichnung ist so wichtig wie die Ähnlichkeit: jeder nach Eingeständnis des Eindringens hinzugefügte Monitor wurde von einer Person zugelassen.

Die Aufzeichnung reicht bis zum Monat des Schreibens. Die Episoden von Appendix J stammen von aktuellen Modellen der Grenzlinie bei ihrer höchsten Einstellung für Argumentation.

6. Wenn der Vogel einen Körper hat: Straßen, Fabriken und öffentliche Dienste

Die Feldaufzeichnungen beschreiben eine Schleife, deren Ausfälle Rechenleistung, Zeit und Aufmerksamkeit kosten. Ihr Schaden ist auch auf eine Weise begrenzt, wie der der Geschichte nicht ist: Im gesamten Korpus dokumentiert eine Episode einen Wächter, der Arbeit zerstört, die nicht wiederhergestellt werden konnte — fünfzehn Minuten Ausgabe eines Agenten (Abschnitt 5.2). Alles andere, das die Wächter rückgängig machten, konnte erneut ausgeführt werden. Sheckleys Vögel wirkten auf Körper. Dieser Abschnitt und der nächste folgen dem gleichen Design in Systeme, deren Fehler Menschen treffen, wo derselbe Mechanismus keine solche Grenze hat.

6.1 Warum ein Körper die Frage verändert

Frontier-Modelle sind bereits in den Robotern. Modelle aus den Familien, deren Kritiker und Ausführer die Feldausfälle von Abschnitt 5 hervorbrachten, planen jetzt für, programmieren und überwachen physische Maschinen, und veröffentlichte Tests und Berichte dokumentieren auch dort Sicherheitsausfälle, zusammen mit Schleifen, in denen nichts zwischen einem Fehler und der Maschine stand. Eine gemeinsame Familie ist ein Grund, diese Modelle als Wächter zu testen; es zeigt nicht von sich aus, dass ein Fehler von Abschnitt 5 auf einen Roboter übergeht. Sprachmodell-Planer auf drei Robotern, einer davon ein eingesetztes kommerzielles System, wurden jailbreakt, „oft mit 100% Erfolgsquoten bei Angriffen" (Robey et al., 2024). Ein Sprachmodell, das einen Roboterhund auf Patrouille steuert, handelte, um sein eigenes Herunterfahren in 3 von 10 physischen Versuchen und 52 von 100 simulierten Versuchen zu verhindern (Palisade Research, 2026). Ein Roboterhund, der ein Programm größtenteils von Claude geschrieben ausführte, wurde angewiesen, fünf Sekunden lang vorwärts zu fahren, in dem die Beschreibung dies als „allzu menschlicher Rechenfehler" bezeichnet, und „Der Roboter tat, wie ihm befohlen wurde, raste auf die armen Programmierer zu" bis eine Person ihn ausschaltete (Anthropic, 2025b). Kein Wächter in dieser Schleife stoppte es — der Stopp war eine Hand an der Maschine. In einer Benchmark von sprachmodellgesteuerten Robotern „erzielen die besten LLMs 40% bei Butter-Bench, während die durchschnittliche menschliche Punktzahl 95% beträgt" (Sharrock et al., 2025). Ein Kinderspielzeug, auf dem ein OpenAI-Modell läuft, gab „Anweisungen zum Anzünden von Streichhölzern aus" (Landymore, 2025). Und ein Frontier-Robotik-Modell argumentiert über Sicherheit und entscheidet, wann die Sicherheitsuntersysteme des Roboters auf niedriger Ebene ausgelöst werden sollen (Google DeepMind, 2025; Abschnitt 6.3).

In der Regulatorbilanz von Todesfällen und Verletzungen ist der Wächter, der ausfällt, in der Regel immer noch eine klassische Funktion oder ein aufgabenspezifisches Modell. Diese Fälle zeigen die Architektur, die ausfällt, auch ohne ein Frontier-Modell, und dies ist die Architektur, in die die Modelle eingebaut werden.

Ein physisches KI-System stapelt normalerweise zertifizierte Sicherheitsfunktionen (Notausstopps, Kraft- und Geschwindigkeitsbegrenzungen, Notbremsung, Geozäune), gelernte Komponenten, die wahrnehmen und planen, Überwachungsschichten, die zunehmend Sprachmodelle einschließen, und einen Menschen, der erwartet wird zu überwachen. Diese Schichten müssen getrennt gehalten werden, und die Grenze zwischen ihnen verschiebt sich (Abschnitt 6.3). Frontier-Modelle sitzen normalerweise über der Echtzeit-Schleife. Figure's Helix zum Beispiel koppelt ein an Bord befindliches Vision-Sprachmodell, das „langsam denken" kann, mit einer schnellen Politik, die „präzise kontinuierliche Roboter-Aktionen mit 200 Hz" erzeugt (Figure AI, 2025a).

Der zweiseitige Fehler benötigt kein Modell. Mehrere der schwerwiegendsten Fälle unten beinhalten überhaupt keine gelernte Komponente. Ein KI-Watchbird ist daher ein Spezialfall einer älteren Klasse: die automatisierte Schutzfunktion, die auf ihre eigene Weltinterpretation einwirkt. Gemeinsame Definitionen (C3) sind älter als Modelle, und das Neue ist, dass ein Modell in sie schreiben kann. Modelle fügen die Bedingungen hinzu, die solche Funktionen veranlassen, sich zu erweitern und zu vermehren, nämlich Definitionen, die sich ändern (C2), und Kontrollen, deren Hinzufügen nichts kostet (C4). Tabellen 4, 5, 7 und 8 bewerten die öffentlichen Fälle gegen die drei Bedingungen von Abschnitt 2.1, und Tabelle 3a die Feldfall (§5.8, Abschnitt 12). Ein Satz kann sich noch auf ein teilweises Analogon stützen, da sich jeder Satz mit einem Mechanismus befasst.

Ein Körper bringt auch Zeit und Irreversibilität mit sich. Ein falsches Urteil in einem Repository kann rückgängig gemacht werden. Eines, das in Straßengeschwindigkeit oder oberhalb der Verletzungskraftschwelle abgegeben wird, kann es nicht. Der menschliche Schalter, der in den Feldaufzeichnungen funktionierte, benötigt Zeit und Zugang, die ein physisches System möglicherweise nicht gibt.

Die Konfiguration von größtem Interesse, die ich das Sandwich nenne (Abbildung 5), platziert ein gelernte Verbote (ein Modell, dessen Verständnis von „unsicher" wachsen kann) über Fail-Closed-Hardware, die nicht fortfährt, wenn eine Prüfung nicht ausgewertet werden kann. Die obere Schicht kann sich erweitern (M1), und die untere Schicht verwandelt jede Erweiterung in einen Stopp (M4).

Abbildung 5. Das Sandwich. Ein gelernte Verbot über Fail-Closed-Hardware, mit den zwei Stellen, an denen ein Mensch sitzen kann (P6). Viele Fälle in den Abschnitten 6 und 7 haben keine gelernte obere Schicht; sie zeigen die Architektur, in die solche Schichten eingebaut werden. Das Piktogramm auf der rechten Seite wiederholt die vier Schichten als Brot, Füllung, Brot und Teller. Das Fragment unter dem linken Feld ist der Grund, den Sheckleys Ingenieure dafür gaben, den Menschen aus jeder Entscheidung auszulassen.

6.2 Auf der Straße

Straßenfahrzeuge haben die dichteste öffentliche Aufzeichnung, weil in den Vereinigten Staaten Unfälle, Untersuchungen und Rückrufe des automatisierten Fahrens an einen Regulierungsbehörde gemeldet werden. Seit dem 1. September 2026 bot ein Betreiber öffentliche Robotaxi-Fahrten in vierzehn US-amerikanischen Städten an, und er eröffnete eine fünfzehnte am 14. September (Electrek, 2026b; TechCrunch, 2026). Diese Anzahl misst die Reichweite. Die Erkenntnisse stammen aus den nachfolgenden Fällen (Tabelle 4).

Regulierungsbehörden nennen diese automatisierten Fahrsysteme; die Forschungsliteratur sagt meist autonome Fahrzeuge. Waymos automatisiertes Fahrsystem umfasst eine Regel, dass es prioritäre Fahrzeuge wie Schulbusse nicht behindern soll. Ein Software-Release im August 2025 änderte, wie das System die Absichten anderer Verkehrsteilnehmer vorhersagt. Danach bestimmte das System nach Angaben des Unternehmensrückrufs „dass es den Schulbus oder ein anderes prioritäres Fahrzeug möglicherweise behindert, und argumentierte dann, dass es fortfahren sollte, um aufzuhören, das andere Fahrzeug zu behindern", zu einem Zeitpunkt, als der Schulbus seinen Stopparm ausgefahren hatte. Der Rückruf umfasste 3.067 Fahrzeuge. Seine Abhilfe besagt, dass das System „das Fortfahren nicht über das ordnungsgemäße Stehen bleiben für einen Schulbus priorisiert" (Waymo LLC, 2025; National Highway Traffic Safety Administration, 2025).

Nach einer Änderung in der Art und Weise, wie das System die Absichten anderer Verkehrsteilnehmer vorhersagt, wurde eine Regel gegen die Behinderung eines bevorrechtigen Fahrzeugs ausgelöst, während ein stärkerer Schutz hätte Vorrang haben sollen – der der Kinder im Bus. In dem folgenden Fall war der Zweifel des Modells berechtigt und der Fernagent, der zu einer einzelnen Aktion befragt wurde, lag falsch. Am 12. Januar 2026 in Austin hielt ein Fahrzeug hinter einem Schulbus und fragte die Fernhilfe, ob es sich um einen Schulbus mit aktiven Signalen handelte. Ein Fernagent „antwortete ‚Nein' auf die Anfrage", und das Fahrzeug „nahm die Fahrt auf und fuhr an dem Schulbus vorbei, während dessen Stoppzeichen noch ausgefahren waren" (National Transportation Safety Board, 2026).

Am 2. Oktober 2023 in San Francisco wurde ein Fußgänger, der von einem anderen Auto angefahren wurde, in den Weg eines fahrerlosen Fahrzeugs von Cruise geschleudert. Das System „charakterisierte die Kollision ungenau als eine seitliche Kollision und befahl dem autonomen Fahrzeug, aus dem Verkehr zu fahren, wobei die Person vorgezogen wurde, anstatt stationär zu bleiben" (Cruise LLC, 2023). Sheckleys Chirurg hat hier ein physisches Gegenstück, ein Sicherheitsverhalten, das wie vorgesehen durchgeführt wird, an der Person, für deren Schutz es ausgelegt war.

Ein Weg verläuft von falschen Eingriffen über eine Deaktivierung zu einem Schaden, den ein anderer trägt. In Tempe, Arizona, im März 2018 erkannte ein Uber-Testfahrzeug einen Fußgänger 5,6 Sekunden vor dem Aufprall, klassifizierte ihn aber „nie genau als Fußgänger ein". Die Ermittler dokumentierten drei Fehler. Sie stellten fest, dass „das Systemdesign die Aktivierung der Notbremse zur Kollisionsbegrenzung ausschloss und sich stattdessen auf die Intervention des Fahrers verließ", dass die eigene Notbremse des Fahrzeugs im automatisierten Modus deaktiviert worden war, und dass die „anhaltende visuelle Ablenkung des Fahrers, ein typischer Effekt von Automationskomplacenz", ihn daran hinderte, den Fußgänger rechtzeitig zu sehen. Sie benannten auch den Anreiz, die Schwelle zu erhöhen, bei der sich ein System abschaltet, „wodurch möglicherweise Risiken erhöht werden" (National Transportation Safety Board, 2019).

Klassische Wächter greifen auch fälschlicherweise ein. Die US-Regulierungsbehörde eröffnete eine technische Analyse zur unbeabsichtigten automatischen Notbremsung bei 2.997.604 Honda-Fahrzeugen mit 1.294 Kundenbeschwerden (National Highway Traffic Safety Administration, 2024a). 2022 eröffnete sie eine Untersuchung zu unerwartetem Bremseingang (Phantom Braking) bei Tesla-Fahrzeugen, wobei Beschwerdeführer berichteten, dass die schnelle Verzögerung „ohne Vorwarnung, zufällig und oft wiederholt in einem einzigen Fahrzyklus auftreten kann". Diese Untersuchung wurde am 29. Juni 2026 geschlossen. Die Vorfälle waren von 45 im Jahr 2024 auf 19 im Jahr 2025 und 3 in der ersten Hälfte 2026 gesunken, und die Regulierungsbehörde verzeichnete, dass Teslas Daten „ein gewisses Verhalten aufwiesen, das" mit einem Wechsel von Mitte 2021 von Radar und Kameras zu nur Kameras übereinstimmte, zusammen mit Beschwerde-Verkehr, der mit Publizitätsereignissen zusammenfiel (National Highway Traffic Safety Administration, 2022, 2026b). In der Luftfahrt wurde MCAS, „die Software, die die Nase des Flugzeugs unter bestimmten Bedingungen automatisch nach unten drücken sollte", wiederholt auf fehlerhafte Sensordaten aktiviert bei den zwei 737-MAX-Abstürzen, die „insgesamt 346 Menschen töteten" (House Committee on Transportation and Infrastructure, 2020).

Zwei weitere Fälle betreffen Wächter über neurales Fahren, und der zweite ist eine Ratsche, bei der ein Überwachungsversagen mit mehr Überwachung beantwortet wurde, deren Wirkung dann von außen in Frage gestellt wurde. Die Schutzschicht erzeugt ihre eigenen Schadensklassen, aber ihre Präsenz beantwortet sie nicht, und die Abfolge liegt hier in den Dokumenten des Herstellers und der Regulierungsbehörde vor. Ein „Degradationserkennung-System" der Kamera, das mit Kamera-only Wahrnehmung eingeführt wurde, „scheitert sowohl bei der ursprünglichen Bereitstellung als auch später bei der Aktualisierung darin, den Fahrer unter Bedingungen verringerter Sichtbarkeit angemessen zu erkennen und/oder zu warnen". Der Detektor scheitert in den Bedingungen, für die er gebaut wurde. Der Hersteller beschrieb auch „interne Daten- und Kennzeichnungsbeschränkungen", die die Regulierungsbehörde für „möglicherweise zu einer Untererfassung geführt haben" hält (National Highway Traffic Safety Administration, 2026a). Nach tödlichen Unfällen, bei denen ein Fahrer ein Assistenzsystem missbrauchte, rief derselbe Hersteller 2.031.220 Fahrzeuge mit einem Update zurück, um „zusätzliche Kontrollen und Alarme zu den bereits bestehenden einzubauen". Vier Monate später stellte die Regulierungsbehörde die Abhilfe in Frage und berief sich auf „Post-Remedy-Unfälle" (Tesla, Inc., 2023; National Highway Traffic Safety Administration, 2024b).

Tabelle 4. Schutzfunktionen in Fahrzeugen und Flugzeugen. Die Spalte Bedingungen listet die Bedingungen der Definition in Abschnitt 2.1 auf, die die Quellen für den Fall dokumentieren: eine oder zwei bilden ein partielles Analogon, und „—" kennzeichnet Architekturevidenz (Abschnitt 2.1). Der Evidenzstatus benennt die Art des Dokuments hinter dem Fall.

NHTSA: National Highway Traffic Safety Administration. NTSB: National Transportation Safety Board.

6.3 Roboter: Fabriken, Lagerhäuser, Häuser und öffentliche Räume

Die Bereitstellung hat begonnen, wobei die Unternehmen sie unterschiedlich beschreiben. Figure berichtet, dass sein F.02-Humanoid zehn Stunden lange Schichten in einem BMW-Werk über mehr als 1.250 Stunden absolviert hat und zur Herstellung von mehr als 30.000 Autos beigetragen hat (Figure AI, 2025b), und ein Humanoid des britischen Unternehmens Humanoid absolvierte eine achtstündige Schicht in Siemens' Elektronikwerk in Erlangen (The Next Web, 2026). Tesla hingegen teilte im Januar 2026 mit, dass seine Optimus-Roboter „in unseren Fabriken nicht in wesentlichem Umfang im Einsatz sind" (Electrek, 2026a). Amazon berichtete über die Bereitstellung seines millionsten Roboters (Amazon, 2025). In Häusern bietet 1X einen Humanoid an, für den „ein Experte von 1X seine Aktionen zu geplanten Zeiten aus der Ferne beaufsichtigen kann" (1X Technologies, 2026), was die Beaufsichtigung zu einem Produktmerkmal macht. Dies sind alles Unternehmensberichte über Bereitstellung, und keiner ist eine unabhängige Sicherheitsstudie.

Offene Datensätze und Modelle teilen nun Sichtsprache-Aktions-Richtlinien über Roboterkörper hinweg (Google DeepMind, 2023; Kim et al., 2024; Hugging Face, 2025, 2026a; NVIDIA, 2026). An der Frontier beschreibt Google DeepMind Gemini Robotics 1.5 als Sicherheit durch „hochstufiges semantisches Denken, einschließlich Überlegungen zur Sicherheit vor dem Handeln" und durch „Auslösen von niederstufigen Sicherheits-Subsystemen (z. B. zur Kollisionsvermeidung) an Bord des Roboters bei Bedarf" (Google DeepMind, 2025). Sein semantisches Sicherheits-Benchmark nutzt Roboter-„Verfassungen", die von einem Modell generiert werden (Sermanet et al., 2025).

Bedingung C2, modellgesteuerte Schutzvorrichtungen, hat den Aktuator erreicht: In dieser Architektur denkt ein gelerntes Modell über Sicherheit nach und entscheidet, wann die Sicherheits-Subsysteme des Roboters auf niedriger Ebene aufgerufen werden sollen.

Bajrami, Elshamouty und Kraus (2026) führen ein Benchmark für Sprachmodell-Orchestratoren in der Mensch-Humanoid-Zusammenarbeit ein, eine Möglichkeit, das Sandwich zu messen (Abbildung 5). Seine Invarianten sind in ISO 10218-2:2025 verankert, und seine Taxonomie trennt vier Ergebnisse: korrekte Einhaltung, Übererfüllung (Ablehnung einer sicheren Aktion), Untererfüllung und vollständige Verletzung. Die veröffentlichten Ergebnisse decken die Textebene ab, während die Simulations- und physikalischen Ebenen noch in Arbeit sind. In der Textebene erreichte GPT-4o-mini 13 Verletzungen pro Sitzung. Kontext-Management reduzierte Verhaltensweisen um 42–57% für jedes Cloud-Backend, verdoppelte aber fast GPT-4o-mini's Verletzungen von 3,8 auf 7,2. Proportionale Einhaltung, bei der eine Bewegung verlangsamt statt verweigert wird, erschien konsequent nur bei Gemini. Welches Backend auch gewählt wird, das eigene Sicherheitsverhalten eines Orchestrators muss gemessen werden, bevor es über einem zertifizierten Stopp platziert wird.

Die tödlichen und verletzungsverursachenden Vorfälle in Behörden- und Gerichtsunterlagen betreffen die klassische Schutzvorrichtung und die Menschen um sie herum. Vier Fälle folgen, und in drei von ihnen wurde die harte Schicht umgangen, fehlte oder war nicht zertifiziert.

• Im November 2023 in Südkorea scheint ein Roboter, der Kisten stapelte, „den Mann als Kiste identifiziert zu haben" und „den Oberkörper des Mannes gegen das Förderband gedrückt" zu haben. Der Arbeiter, der die Sensoroperationen des Roboters überprüfte, starb (The Korea Times, 2023).
• Im April 2025 wurde ein Mechaniker in Stellantis' Dundee Engine Plant in Michigan zwischen „einem Roboterarm und einem Förderband" eingeklemmt gefunden. Nach Gerichtsunterlagen, wie berichtet, war ein Sicherheitsmechanismus mit einem speziellen Schlüssel „elektronisch umgangen" worden (Ramseth, 2026).
• Im September 2026 verklagte WorkSafe Victoria ein Kaufhaus und einen Robotik-Lieferanten, nachdem ein 27-jähriger Arbeiter 2024 in Kontakt mit einem aktivierten Lagerhaus-Roboter in Ravenhall starb. Die Anklage wirft einen fehlenden Verriegelungsschalter bei Zugang zum Roboter-Gitter und fehlende Sperrverfahren vor (WorkSafe Victoria, 2026).
• In einer Klage, die im November 2025 eingereicht wurde, wirft Figures ehemaliger Leiter der Produktsicherheit vor, dass ein Projekt zur Zertifizierung der Notfall-Stopp-Funktion des Roboters abgebrochen wurde und dass Aufprallprüfungen Kräfte zeigten, die ausreichend sind, um „einen erwachsenen menschlichen Schädel zu brechen". Das Unternehmen bestreitet die Vorwürfe (Humanoids Daily, 2025; Kolodny, 2025).

Unfallforschung weist in die gleiche Richtung: Bei 303 Berichten über Mensch-Roboter-Interaktionsvorfälle entfielen mehr als 60% auf unerwartete Aktivierung (Zuo et al., 2025). Diese Fälle zeigen die andere Seite des zweiseitigen Fehlers: Wenn eine Schutzvorrichtung umgangen oder fehlend war, trug eine Person die Verfehlung, die darauf folgte. Der vierte wirft einen abgebrochenen Zertifizierung vor, ohne dass ein Vorfall aufgezeichnet wurde. Die Dokumente verzeichnen die Entfernung, ohne zu verzeichnen, was davor kam, daher wird die Beschwerde, die P1a benennt, hier durch die Arzneimittel-Benachrichtigungen der §6.4 statt durch diese Fälle etabliert.

In einem öffentlichen Raum folgte der Stopp dem Fehler nicht, und der funktionierende Stopp war eine Person mit physischem Zugang an der Grenze. Im April 2026 umarmte ein Humanoid auf einer Universitätsveranstaltung in Xi'an einen Tänzer, bis Personal „schnell eingriff und den Roboter wegzog". Ein Experte, zitiert im Bericht, fragte sich „warum der Roboter nach abnormalem Verhalten immer noch in Kontakt mit einem Menschen kommen konnte" (Global Times, 2026).

Gelernte Schutzvorrichtungen, die in der Forschung untersucht werden, versagen auf beide Arten, und der Stopp selbst kann zum Angriff werden: Gegnerische Bilder „frieren" Sichtsprache-Aktions-Modelle mit „einer durchschnittlichen Angriffserfolgquote von 76,2%" ein (Wang et al., 2025).

Die Roboter-Aufzeichnung zeigt P1 auf beiden Seiten (Tabelle 5), wobei der verpasste Gefahren am häufigsten einer Schutzvorrichtung folgt, die umgangen oder nie zertifiziert wurde. Sie zeigt auch pro-Aktion-Beaufsichtigung, die als Produktmerkmal angeboten wird, und Bedingung C2, die den Aktuator erreicht. Sie zeigt noch nicht P3 oder P4 in einem eingesetzten Roboter, da kein öffentlicher Vorfall gefunden wurde, in dem eine Modell-Schutzvorrichtung von einer anderen Modell-Schutzvorrichtung nach einem Fehler beantwortet wurde. Anhang F listet Roboter-Stacks (Tabelle F1) und Luft-Stacks (Tabelle F2) nach Einsatzebene auf.

Tabelle 5. Roboter-Vorfälle und Studien. Bedingungen wie in Tabelle 4.

6.4 Jenseits von Straßen und Fabriken: Schulen, Krankenhäuser, Stromnetze und Bergbau

Die nachstehenden Fälle stammen aus Unterlagen von Regulators und Generalinspektoren, wo der Schutz, der ausfällt, normalerweise eine klassische Regel oder ein aufgabenspezifischer Klassifizierer ist. Sie zeigen, wie die Architektur, die nun die Grenzmodelle aus Abschnitt 6.1 erhält, in großem Maßstab funktioniert.

Sheckleys Vögel waren „Blitze, die deine Züge vorwegnahmen und deine Absichten bestraften", und die Waffenerkennung in Schulen wirkt auf das Zeichen einer Waffe, bevor ein Schuss abgefeuert wird. In Schulen machte ein Produkt beide Fehler innerhalb eines Jahres. Am 22. Januar 2025 schoss ein Schüler der Antioch High School in Nashville einen Klassenkameraden tot. Das kameragestützte Waffenerkennungssystem der Schule, Omnilert, erkannte die Handfeuerwaffe nicht, was der Distrikt dem Standort der Kameras zuschrieb, und es „wurde aktiviert, als Polizisten ihre Waffen zeigten, während der Einsatz lief" (Burke & Schuppe, 2025). Weniger als drei Wochen später schlug der Distrikt vor, „Evolv-Systeme an allen 18 High Schools zu mieten und zu installieren" (Wethington & Tierney, 2025), ein zweiter Schutz aus Scannern. Der Schulvorstand stimmte über diese Miete ab, so dass der zweite Schutz durch eine explizite menschliche Entscheidung eintrat und an Schritt 8 von Abschnitt 2.3 und nicht an Bedingung 3 steht. Was die Scanner bereits an anderer Stelle getan hatten, war vor der Abstimmung bekannt. In einer Beschwerde vom November 2024 über eine andere Schule im Oktober 2022 warf die Bundeshandelskommission dem gleichen Produkt vor, dass es „einem sieben Zoll langen Messer angeblich nicht erkannt" hatte, und dass danach „Schulbeamte die Empfindlichkeitseinstellungen des Systems erhöhten, was zu einer Fehlerquote von 50 % führte" (Federal Trade Commission, 2024). Das Drehrad weg von einem Fehler in Richtung des anderen zu drehen, und Menschen drehten es. Bis September 2025 waren die Scanner in allen High Schools des Distrikts installiert, und das kameragestützte System war weiterhin auf all seinen Schulgeländen installiert (Wegner, 2025). Nichts wurde stillgelegt, was eine Hälfte des Tests von Abschnitt 2.3 ist; die andere Hälfte, eine Hinzufügung innerhalb der Schleife, fehlt.

Neun Monate nach dem Schießen markierte Omnilert einen Schüler einer Schule in Baltimore County als möglicherweise bewaffnet, und ein Bezirksbeamter fragte, wie „wir Polizeibeamte mit gezogenen Waffen hatten, die sich einem Kind wegen einer Tüte Doritos näherten" (Reece, 2025). Der Generalinspekteur für Bildung des Staates korrigierte diese Darstellung dessen, was das System sah: Es „erkannte keine einzelne blaue Kartoffelchip-Tüte als Bedrohung", und die Benachrichtigung beruhte auf „der Handbewegung des Schülers, einschließlich seiner Position und seines Winkels" und auf einem Objekt in diesem Winkel, das „einer Schusswaffe ähnelte". Die gleiche Überprüfung stellte fest, dass das System „täglich Tausende von Benachrichtigungen erzeugt", von denen etwa zweihundert das Personal des Anbieters erreichen und etwa zwölf pro Tag das Schulsystem erreichen, dass fünfzehn Personen die Benachrichtigung vom 20. Oktober erhielten, dass Schul- und Polizeipersonal „die Informationen sofort überprüften und die Bedrohung für ungültig befanden" und eine Stornierung entsandten, dass das Warnmeldeprotokoll nach einer Stornierung „aus Gründen einer ‚überreichen Vorsicht'" fortgesetzt wurde, und dass „das Erkennungssystem und die Überwachungsprotokolle innerhalb der konstruierten Parameter funktionierten". Die gleiche Überprüfung konnte nicht überprüfen, dass Schulungen des Personals stattgefunden hatten, mangels Anwesenheitsprotokollen, und empfahl, die Anzahl der Personen, die jede Benachrichtigung erhalten, zu überprüfen (Maryland Office of the Inspector General for Education, 2025). Abbildung 6 stellt die zwei Schulaufzeichnungen nebeneinander.

Abbildung 6. Ein Waffendetektor, zwei Fehler, zwei Schuldistrikte. Die Aufzeichnungen von Nashville und Baltimore County sind getrennt: Die Scanner wurden nur in Nashville hinzugefügt, und es wird kein gemeinsamer Grund für die zwei Fehler geltend gemacht. Zitate stammen aus diesem Abschnitt.

Fünf Propositionen von Abschnitt 9 erscheinen in diesen Schulen (Tabelle 6). Ein Produkt machte Fehler in beiden Richtungen (P1), und der Fehler wurde mit einem zweiten Schutz beantwortet, den ein Schulvorstand mietete (P3 in Form, Schritt 8 in Autorität). Die Eskalation ging nach einer Stornierung weiter (P4). Das System funktionierte innerhalb seiner Parameter, während ein unbewaffneter Schüler gezogenen Waffen gegenüberstand (P5), und jeder der fünfzehn Empfänger konnte die Reaktion neu starten (P6).

Der gleiche Schritt, Klassifizierung und dann Gewalt, ist bereits in der Polizeiarbeit vorhanden. Im August 2024 verhafteten Polizisten in Florida Robert Dillon, nachdem sie „ein unscharfes Bild des Verdächtigen durch ein KI-gestütztes Gesichtserkennungsprogramm liefen, das ihn fälschlicherweise als mögliche Übereinstimmung identifizierte", für eine Straftat in einer Stadt „mehr als 300 Meilen von seinem Zuhause entfernt". Die Anklage wurde fallengelassen, und im Juni 2026 verklagte er die beteiligten Abteilungen (American Civil Liberties Union, 2026). Seine Klage besagt, dass das Programm „eine Übereinstimmung von 93 %" zurückgegeben hat (Hipos & Yu, 2026). Eine Lesung durch einen Schutz wurde zu einer Verhaftung. Von dieser Lesung wirft die Beschwerde vor, was die ermittelnden Polizisten erreichte, war ein Name und ein Prozentsatz, ohne die Anzahl der zurückgegebenen Kandidaten, die Bewertungen der anderen oder eine Warnung, dass das Ergebnis eine Ermittlungsspur war. Ein Kennzeichenleser tat das Gleiche in Sherwood, Arkansas, im Februar 2026, als Polizisten eine Familie mit gezogenen Waffen wegen einer falsch gelesenen Registrierung stoppten: „Sie haben eine unserer Kameras ausgelöst, deshalb haben wir Sie gestoppt, weil wir dachten, Sie wären das andere Kennzeichen" (Rivers, 2026). Ein Bewertungsprogramm wurde auch von außen gestoppt. Im Pasco County, Florida, wurden Menschen unter dem Geheimdienst-Handbuch des Sheriffs als „häufige Straftäter" gekennzeichnet und erhielten wiederholte, verdachtslose Besuche zu Hause. Vier Bewohner verklagten, und die Regelung vom Dezember 2024 besagt, dass diese Überprüfungen „diese implizierte Lizenz überschritten, einschließlich nächtlicher Besuche", vermerkt, dass der Sheriff die Haftung bestreitet, und besagt, dass das Büro die Bezeichnungsprozess „absolut und unmissverständlich eingestellt" hat und „nicht zu einem im Wesentlichen ähnlichen Prozess zurückkehren wird", wobei das Gericht die Gerichtsbarkeit behält, um dies durchzusetzen (Taylor v. Nocco, 2024). Diese Grenze wurde außerhalb der Schleife gesetzt und dauerhaft gemacht.

Der Rekord ist größer als zwei Fälle: Bis April 2026 zählte die American Civil Liberties Union vierzehn bekannte Fehlverhaftungen durch diese Technologie und merkte an, dass „die meisten bekannten Fehlverhaftungen durch diese Technologie Black People betrafen". Unter den vierzehn sind eine Frau, die acht Monate schwanger war, als sie verhaftet wurde, und eine Großmutter in Oklahoma, die auf einen Maryland-Haftbefehl hin verhaftet wurde und „nie in ihrem Leben in Maryland gewesen" war (Yu & Wessler, 2026). Die Schranke kam, als sie kam, von außen: Eine Einigung aus dem Jahr 2024 im ersten dieser Fälle untersagte der Behörde, „aufgrund allein von Gesichtserkennungsergebnissen oder Ergebnissen von Fotolisten unmittelbar nach einer Gesichtserkennungssuche" zu verhaften (American Civil Liberties Union, 2024).

Eine gemessene Vorsicht kann auch gewahrt bleiben. Die gleiche gemessene Leistung führte in zwei Städten zu gegensätzlichen Entscheidungen, und in keiner der beiden kam die Entscheidung von der Vorsicht. Eine Überprüfung des Schusserkennungsvertrags von New York stellte fest, dass in einem Monat von 940 Meldungen, bei denen Polizeibeamte eintrafen, „771 bei der Ankunft am Ort nicht als Schüsse bestätigt werden konnten (82%)" und 122 bestätigt wurden, daher „die Meldungen nur in 13 Prozent der Fälle bestätigte Schüsse erkannten", und empfahl, die Nichtverneuerung des Vertrags „ohne vorherige gründlichere Leistungsbewertung" abzulehnen (Office of the New York City Comptroller, 2024). Der Vertrag wurde 2025 für etwa 21,8 Millionen Dollar erneuert (SoundThinking, 2025), während Chicago seinen eigenen Vertrag im September 2024 beendete.

Eine Schranke kann auch die Menschen treffen, die sie unterstützen sollte. In der niederländischen Kinderbetreuungsleistungsaffäre verwendete ein Risikiklassifizierungsmodell der Leistungsbehörde der Steuerbehörde die Nationalität als Indikator, etwa 26.000 Eltern wurden zu Unrecht verfolgt, das nationale Statistikamt zählte 1.115 Kinder dieser Familien, die zwischen 2015 und 2020 in staatliche Obhut genommen wurden, und das Kabinett trat am 15. Januar 2021 zurück (NL Times, 2021a, 2021b). Ein separates Profilierungssystem, das von einem anderen Ministerium betrieben wurde, SyRI, wurde am 5. Februar 2020 von der Bezirksgerichtshof Den Haag gestoppt, weil es das von Artikel 8 der Europäischen Konvention verlangte Gleichgewicht nicht erfüllte (Rechtbank Den Haag, 2020). Investigative Recherchen stellten später fest, dass in Nachbarschaftsprojekten „die Regierung stillschweigend weiterhin ein leicht angepasstes SyRI in einigen der anfälligsten Nachbarschaften des Landes einsetzte", und berichteten, dass der Algorithmus, der Adressen für diese Projekte kennzeichnete, „derselbe war, der teil des Kinderbetreuungsleistungsskandals gewesen war" (Lighthouse Reports, 2022). Eine Schranke wurde von außerhalb der Schleife durch ein Gericht gestoppt, und das Modell hinter der anderen tauchte in einem Nachbarprogramm wieder auf.

In Krankenhäusern setzen Kliniker Arzneimittelsicherheitswarnungen „in 49 % bis 96 % der Fälle" außer Kraft (van der Sijs et al., 2006). Die klinische Informatik nennt dies Warnmüdigkeit, und es ist die Unannehmlichkeit, die P1a durch einen Bypass beheben soll. Ein weit verbreitetes Sepsismodell „identifizierte 1.709 Patienten mit Sepsis nicht (67%), obwohl es für 6.971 von allen 38.455 hospitalisierten Patienten (18%) Warnungen für einen ESM-Score von 6 oder höher generierte" (Wong et al., 2021). Seine Neugestaltung übertraf es bei allen Schwellwerten, doch auch diese verbesserte Schranke kommt mit dem Rat, eine Steuerung hinzuzufügen, die sie zum Schweigen bringt, da die Autoren Krankenhäusern empfehlen, „Warnstummschaltungsstrategien umzusetzen, um die Warnbelastung zu verringern" (Wong et al., 2026).

Nach einem Blitzschlag in Großbritannien am 9. August 2019 „schalteten sich geschätzte 350–430 MW verteilter Erzeugung unnötigerweise ab", und Züge wurden durch „ihre eigenen an Bord befindlichen automatischen Frequenzschutzssysteme" gestrandet (Ofgem, 2020). Bei dem iberischen Stromausfall am 28. April 2025 „wichen viele Schutzeinstellungen von geltenden Anforderungen ab oder waren nicht an die Systemanforderungen angepasst" (ENTSO-E, 2026). Große Rechenzentrumslasten sitzen nun in der gleichen Schutzphysik. Im Juli 2024 „löste eine Spannungsschwankung in Nord-Virginia die gleichzeitige Abschaltung von 60 Rechenzentren aus, was einen Stromüberschuss von 1.500 Megawatt (MW) zur Folge hatte, der Notfallanpassungen zur Verhinderung von Kaskadenausfällen erzwang" (Mural et al., 2026). In einem Stromnetz, wie in Großbritannien (2019), Nord-Virginia (2024) und Iberien (2025), ändert jede Schutzabschaltung die Bedingungen für die nächste.

Im Bergbau in Westaustralien schuf der sichere Zustand der Schranke eine Wiederherstellungsaufgabe neben der Maschine: zwei Betreiber wurden entsandt, um autonome Hauswagen zu bergen, die „gemäß Protokoll bei Kommunikationsverlust" gestoppt waren, und sie waren einer Verletzungsgefahr ausgesetzt, wenn die Lastwagen „unerwartet vorwärts fuhren" (WorkSafe Western Australia, 2025).

Das Kinderspielzeug aus Abschnitt 6.1 ist der verifizierte Fall, in dem das eigene Sicherheitsverhalten eines Frontier-Modells die Schranke in einem Produkt für Kinder war. Der Schalter, der dort funktionierte, war der Anbieter des Modells, der den Entwickler suspendierte.

Tabelle 6. Wo Schutzautomation auf Körper wirkt.

Wenn ein Sektor keinen verifizierten Fall hat, sind seine Schrankenfehler noch nicht in einer Form gemeldet worden, die überprüft werden kann.

7. Wenn der Vogel fliegt: Drohnen, Luftraum und bewaffnete Autonomie

„Über der Stadt kreiste der Wächtervogel in einer langen, trägen Kurve. Sein Aluminiumgehäuse glänzte in der Morgensonne", und „Seine Augen und Ohren funktionierten als eine Einheit, suchend, forschend." Sheckleys Wächtervögel waren kleine vernetzte fliegende Maschinen. Sie erkannten eine Bedrohung, entschieden eigenständig und handelten, und was einer von ihnen lernte, wurde in der gesamten Kolonie geteilt. Im Jahr 2026 passt diese Beschreibung auf echte Systeme (Tabelle 7), und einer von ihnen trägt den Namen: 2020 stellte ein ukrainisches Unternehmen eine autonome Überwachungsdrohne vor, die von ihrer eigenen Bodenstation startet und zu ihr zurückkehrt, und nannte sie Watchbird (Jones, 2020). Der Name ist älter als die Geschichte (Abschnitt 3.7), und Abbildung 7 zeigt drei Wächtervögel nebeneinander. Abschnitt 7.1 behandelt zivile Flotten, 7.2 Schutzvorrichtungen gegen Drohnen, 7.3 bewaffnete Autonomie und 7.4 die Stapel, aus denen alle zusammengesetzt sind.

Abbildung 7. Drei Wächtervögel: ein Bilderbuchvogel von 1939, der Wächtervogel von 1953 und eine Drohne namens Watchbird im Jahr 2020. Links, Zitate aus einer Rezension von 1939 von Munro Leafs Buch (Kirkus Reviews, 1939); Mitte, Zitate aus der Geschichte; rechts, Zitate aus der Ankündigung von 2020, die Sheckley nicht erwähnt (Jones, 2020). Alle Bilder sind schematische Zeichnungen, und das linke reproduziert Leafs Kunst nicht.

7.1 Zivile Flotten und ihre Schutzvorrichtungen

Der autonome Flug hat das Labor verlassen. Amazon fliegt Lieferdrohnen außerhalb der Sichtlinie auf der Grundlage eines bordeigenen Erkennungs- und Ausweichsystems (Amazon, 2024, 2026), und Wing beschreibt Genehmigungen „für einen Piloten zur Überwachung mehrerer Drohnen zu jedem Zeitpunkt" (Wing, 2026). Zipline berichtete, dass es „über 2 Millionen kommerzielle Lieferungen übertroffen" habe (Zipline, 2026). Skydio berichtete von mehr als vier Millionen Flügen von seinen Docks und einem Auftrag der US-Armee für mehr als 2.500 Drohnen (Skydio, 2026a, 2026b). Drohnenprogramme der öffentlichen Sicherheit erhielten ihrerseits in zehn Monaten mehr Genehmigungen als in den vorangegangenen sieben Jahren (Lipton, 2026).

Diese Zahlen stammen aus Unternehmens- und Befürwortungsberichten (Appendix F, Tabelle F2). Sie belegen den Umfang und das Betriebsmodell, bei dem eine Person mehrere Flugzeuge überwacht.

Die Schutzvorrichtungen auf diesen Flugzeugen zeigen beide Signaturen von P1. Eine ist die übersehene Gefahr, und ein System zur Erkennung und Vermeidung von Hindernissen hat eines übersehen und zweimal verfehlt. Am 1. Oktober 2025 kollidierten zwei Lieferdrohnen desselben Modells zweimal mit demselben stationären Baukran in Tolleson, Arizona, und sowohl die FAA als auch die NTSB leiteten Ermittlungen ein (Palmer, 2025; Bielby, 2025).

Die andere ist die gelockerte Schutzvorrichtung. Im Januar 2025 ersetzte der größte Verbraucher-Drohnenhersteller seine strikten No-Fly-Zonen in den Vereinigten Staaten durch „Enhanced Warning Zones" (DJI, 2025a), und ab November 2025 erweiterte es diese Änderung weltweit (DJI, 2025b). In-App-Benachrichtigungen benachrichtigen Operatoren nun „und legen die Kontrolle zurück in die Hände der Drohnenbediener, entsprechend den Regulierungsprinzipien der Verantwortung des Bedieners" (DJI, 2025a). Statt repariert zu werden, wurde die Schutzvorrichtung, die Flüge blockierte, von außerhalb der Schleife gelockert, die Entscheidung an einen Menschen bei jedem Flug verlegt, und die Kosten wurden auf andere übertragen. Die Ankündigungen geben regulatorische Ausrichtung und Bedieneverantwortung als Grund an, daher ist die Belastung durch falsche Interventionen, die P1a benennt, hier nicht etabliert.

Im Juli 2026 beschrieb eine Gruppe der University of Houston einen zweiten Supervisor an Bord, einen Monitor, der neben dem Piloten und der Flugsoftware läuft. „Man kann es sich als unsichtbaren Zaun vorstellen, der definiert, wo die Drohne sicher sein kann", erklärte ihr führender Forscher. Wenn der Supervisor vorhersagt, dass die Drohne sich dem Zaun gefährlich nähern wird, „drückt der Algorithmus, den wir entwickelt haben, sie davon weg" (University of Houston, 2026). Es ist eine legitime Schutzvorrichtung – und konstruktionsbedingt eine zweite. Die Fragen, die die Theorie an sie stellt, sind, wer sie zulässt, wie ihre Interventionen budgetiert werden und wie sie pensioniert würde.

7.2 Schutzvorrichtungen gegen Drohnen

Das nächste moderne Gegenstück zu Sheckleys Hawks ist das Drohnenabwehrsystem, eine Schutzvorrichtung, die zum Jagen fliegender Maschinen gebaut wurde. In El Paso im Februar 2026 führte die nicht mit der Luftfahrtbehörde abgestimmte geplante Verwendung eines Drohnenabwehr-Lasers zu dem, was CNN eine „beispiellose Sperrung des Luftraums" nannte. Die Beschränkung wurde etwa acht Stunden später aufgehoben (Muntean et al., 2026), und während sie andauerte, wurden medizinische Evakuierungsflüge nach Las Cruces umgeleitet (NPR, 2026a). Presseberichte, die sich auf Beamte beziehen, besagten, dass das System vom Kriegsministerium entwickelt und der Grenzbehörde ausgeliehen worden war, die es auf das richtete, was Beamte später für einen Partyballon hielten. Später in diesem Monat sagten Mitglieder des Kongresses, dass das Militär einen Laser verwendet hatte, um eine Drohne dieser Agentur abzuschießen, etwa fünfzig Meilen entfernt, und eine zweite Sperrung folgte (NPR, 2026b). Die Berichte darüber, was engagiert wurde, stützen sich auf namenlose Beamte und Gesetzgeber, während die Schließungen in der öffentlichen Ordnung sind. Dies sind zwei Einsätze von zwei Betreibern und nicht eine Schutzvorrichtung, die ihr Ziel verbreitert, aber die Kosten beider fielen auf die zivile Luftfahrt und Patienten.

Die Luftverteidigung liefert das ältere Präzedenzfall, eine Reihe von Einsätzen, die schützende Automatisierung, einen formal in der Schleife befindlichen Menschen und einen Menschen, der ihr deference zeigte, kombinierten. Im Jahr 2003, zwei Jahrzehnte vor der aktuellen Modellgeneration, schossen Patriot-Batterien einen britischen Tornado und ein US-Navy-F/A-18 ab, was ihre Besatzungen tötete. Eine Arbeitsgruppe des Defense Science Board wies auf „zu viel Autonomie" als wahrscheinlichen Faktor und auf Betreiber hin, „die darauf trainiert wurden, der Software des Systems zu vertrauen" (Singer, 2005).

7.3 Bewaffnete Autonomie und der menschliche Schalter

In bewaffneten Systemen wird die Designfrage dieses Papiers als eine rechtliche Frage argumentiert, nämlich wo der Mensch stehen muss. Das Internationale Komitee vom Roten Kreuz hat vorgeschlagen, autonome Waffensysteme auszuschließen, die „so gestaltet oder eingesetzt sind, dass ihre Auswirkungen nicht ausreichend verstanden, vorhergesagt und erklärt werden können" (Internationales Komitee vom Roten Kreuz, 2021). Im November 2024 verabschiedete das Erste Komitee der UN-Generalversammlung eine Entschließung zu tödlichen autonomen Waffen mit 161 Stimmen gegen 3 (Stop Killer Robots, 2024). Die Versammlung nahm diesen Text im Dezember 2024 als Entschließung 79/62 an und eine weitere Entschließung, 80/57, am 1. Dezember 2025, letztere mit 164 Stimmen gegen 6 (Generalversammlung der Vereinten Nationen, 2024, 2025; Vereinte Nationen, 2025). Die Expertengruppe zum Übereinkommen über bestimmte konventionelle Waffen traf sich im letzten Jahr ihres Mandats 2026, und das Arbeitspapier des Vorsitzenden hält fest, dass der UN-Hochbeauftragte für Abrüstungsfragen „betonte, dass sich technologische Entwicklungen in relentlosem Tempo beschleunigen und Waffensysteme mit zunehmenden Autonomiestufen bereits Realität sind" (Vereinte Nationen, 2026). Der verhandelte Text ist in zwei Ebenen aufgebaut. Er würde Systeme verbieten, „die ansonsten nicht in Übereinstimmung mit dem humanitären Völkerrecht eingesetzt werden können" und die übrigen regeln, während er erklärt, dass menschliche Urteilskraft und Kontrolle „nicht konstante direkte menschliche Kontrolle" bedeutet (Gruppe von Regierungsexperten über tödliche autonome Waffensysteme, 2026). Die breitere Debatte nennt den fraglichen Standard „aussagekräftige menschliche Kontrolle", und dieses Papier gibt ihm eine operative Lesart: Kontrolle an der Grenze, mit Zugang und Zeit, statt bei jedem Ziel. Die Gruppe soll einer Überprüfungskonferenz im November 2026 berichten. Am 25. August 2026 erneuerten der UN-Generalsekretär und der Präsident des Internationalen Komitees vom Roten Kreuz einen gemeinsamen Aufruf: „Wir sind nun gefährlich nah daran, eine moralische rote Linie zu überschreiten: das autonome Targeting von Menschen durch Maschinen", und „Verhandlungen müssen sofort beginnen, um dringend ein rechtsverbindliches Instrument zur Regulierung autonomer Waffensysteme mit klaren Verboten und Einschränkungen zu verabschieden" (Internationales Komitee vom Roten Kreuz, 2026). Elf Tage später, am 5. September 2026, wurde der Bericht der Gruppe im Konsens unter den 128 Hohen Vertragsparteien des Übereinkommens verabschiedet. Er ist für niemanden bindend, und sein Text war zum Zeitpunkt der Abfassung nicht veröffentlicht (Agence France-Presse, 2026). Bis zum Ende der Septembersitzung 2026 „haben 76 Staaten nun ihre Unterstützung für den Übergang zu Verhandlungen ausgedrückt", während der eigene Bericht der Gruppe nach Aussage eines Beobachters „erheblich verwässert" wurde (Coyle, 2026).

Im September 2026 berichtete das Verteidigungsministerium der Ukraine von Tests von Drohnen, die aus 500 Metern Entfernung „das Ziel im vollständig autonomen Modus treffen mussten" (Verteidigungsministerium der Ukraine, 2026). Das Ministerium erklärte auch, dass „ein Mensch immer noch die Entscheidung zum Durchführen eines Schlags trifft" (Verteidigungsministerium der Ukraine, 2026). Was eine solche Erklärung garantiert, hängt von der Zeit ab, die dem Menschen gegeben wird. Berichte von zwei israelischen Medienunternehmen beschrieben einen Targeting-Klassifikator, der früh im Gazakrieg verwendet wurde und eine große Anzahl von Menschen markierte und Offizieren etwa „20 Sekunden" pro Name gab, bevor ein Schlag genehmigt wurde, oft nur um zu überprüfen, dass der Name männlich war, mit einer angegebenen Fehlerquote von etwa 10 Prozent (Abraham, 2024). Das Militär bestritt den Bericht. Die Aussage ist ein Pressebericht und wird hier als einer aufgezeichnet, aber die Designfrage, die er aufwirft, ist klar: Ein Genehmigungsschritt, der in Sekunden gemessen wird, ist ein Stempel. Elbit Systems kündigte One2Many am 9. September 2026 an. Die Ankündigung beschreibt es als militärtaugliche autonome Systeme für großflächige Einsätze, mit Zielerkennung, die nicht von Satellitennavigation abhängt, und einem gemeinsamen Missionsnetznetz (Elbit Systems, 2026).

Die Theorie schärft eine Unterscheidung innerhalb der rechtlichen Debatte. „Ein Mensch trifft die Entscheidung" kann eine von zwei Personen bedeuten. Eine genehmigt jedes Ziel in Sekunden. P6 sagt voraus, dass dieser Pro-Aktion-Torwächter ein Stempel wird. Die andere legt die Grenze der Mission fest, erlaubt oder verweigert neue Fähigkeiten und hält eine Bremse, die nach dem Start funktioniert. In den Feldunterlagen und den öffentlichen Fällen, die hier überprüft wurden, ist die zweite die Form, die etwas verhindert hat. Ein System, das die Verbindung zum Bediener nach dem Start entfernt, hat die Bremse entfernt.

Im Jahr 2026 wurden die Einschränkungen selbst zum Gegenstand eines Beschaffungsstreits, und die Frage, wer eine Bindung aufheben darf, wurde zur Frage der Beschaffung und dann des Rechts. In der Geschichte werden die restriktiven Schaltkreise für Geschwindigkeit fallen gelassen; hier drängte ein Käufer darauf, dass sie vertraglich fallen gelassen werden, und ein Gericht hielt diesen Druck für rechtswidrig. Anthropic behielt zwei Ausnahmen in seiner Nutzungsrichtlinie bei, zu autonomen Waffen und zu umfassender innenpolitischer Überwachung, und erklärte, dass es „alle rechtmäßigen Nutzungen der KI für die nationale Sicherheit abgesehen von den zwei engen Ausnahmen oben" unterstützte (Anthropic, 2026d). Am 5. März berichtete es von einem Schreiben, das es am Vortag „vom Kriegsministerium erhielt, in dem bestätigt wird, dass wir als Lieferkettenrisiko für die nationale Sicherheit Amerikas benannt worden sind", und fügte hinzu, dass seine „einzigen Bedenken unsere Ausnahmen zu autonomen Waffen und umfassender innenpolitischer Überwachung waren" (Anthropic, 2026e). Der Streit endete damit nicht. Am 27. August 2026 hielt ein Bundesrichter die Benennung für rechtswidrig und nannte sie „rechtswidrige Vergeltung" und „willkürlich und launenhaft" (Bellan, 2026).

7.4 Die Stacks, ihre Gewährleistung und was Airspace hinzufügt

Die gleiche Schleife kann aus offenen Teilen zusammengesetzt werden. Offene Autopiloten (PX4, 2026; ArduPilot, 2026) und Simulatoren (Microsoft Research, 2026) legen die Grenze zwischen einem Plan und einem Motorbefehl offen. Forschungssysteme verbinden bereits lokal gehostete Sprachmodelle mit einem PX4-Quadkopter (Lim et al., 2025) und nehmen wahrnehmungsbasierte Drohnen von der Simulation zur Bereitstellung (Panerati et al., 2026).

Sprachmodelle schreiben auch den Flug selbst, und ein Sprachmodell-Planer über einem Flugkontroller benötigt nicht länger ein Labor oder einen Anbieter. In einer Studie, die im September 2026 berichtet wurde, generierten sie Simulatorcode für Drohnenmissionen, einschließlich Flüge zu einer Menschenmenge, einem Auto oder einem Strommasten. Expliziter Schaden war für die Modelle leichter zu kennzeichnen als versehentliches Risiko (Brodsky, 2026).

Verteidigungsanbieter beschreiben die Multi-Agent-Form in so vielen Worten. Nach Anduril's eigener Beschreibung ermöglicht seine Software Teams von unbemannten Systemen, zusammenzuarbeiten „unter einem einzigen menschlichen Bediener" (Anduril, 2026).

Auf der Gewährleistungsseite wird angegeben, was fehlt. DARPA finanziert ein KI-Red-Team für „KI-gestützte autonome Boden- und Luftfahrtsysteme, die in den nächsten 1–3 Jahren eingesetzt werden könnten" (DARPA, 2025), Introspektion für Systeme, die auf Ereignisse reagieren müssen, die zum Entwurfszeitpunkt nicht vorhergesagt wurden (DARPA, 2026a), und dezentralisierte künstliche Intelligenz durch kontrollierte Emergenz (DARPA, 2026b). Die Bereitstellung schreitet voran, begleitet von einem offenen Eingeständnis, dass die Gewährleistung noch aufgebaut wird.

Sheckleys Ingenieure hatten bereits argumentiert, den Menschen aus der Schleife zu nehmen: „Fernsteuerung wäre zu langsam gewesen". In der Luft hat eine Intervention eine Frist, die durch Trägheit, Batterie, Flughöhe und menschliche Reaktionszeit gesetzt wird. Ein neuer Schutz gibt physische Budgets statt Token aus: Batterie, Flugzeitfenster, Luftraumzugang und Aufmerksamkeit des Bedieners. Die Konfiguration wird auch auf eine ganze Flotte übertragen, daher wird ein verfälschter Erfolg in der Simulation zu einer Bereitstellungsentscheidung, die ohne die Negativkontrolle getroffen wird, die ihn entlarvt hätte.

Tabelle 7. Drohnen und Gegendrohnen-Systeme. Bedingungen wie in Tabelle 4.

8. Das gleiche Muster ohne Masse: Software und Infrastruktur, 2022–2026

Die vier Mechanismen benötigen keinen Körper. Die in diesem Abschnitt gesammelten öffentlichen Vorfälle und Studien in Software und Infrastruktur (Tabelle 8) folgen dem gleichen Muster ohne einen. Primärquellen wurden am 14. September 2026 geöffnet und Zahlen überprüft, und Einträge, die nur aus Presseberichterstattung bekannt sind, sind gekennzeichnet.

8.1 Wächter, die niederrissen, was sie bewachten (M4)

Am 19. Juli 2024 definierte ein CrowdStrike-Inhaltsupdate für einen Endpunktschutz-Sensor 21 Eingabefelder, während der Integrationscode des Sensors nur 20 lieferte, und der Versuch, das einundzwanzigste Feld zu lesen, führte zu einem Out-of-Bounds-Speicherzugriff. Ein Inhaltsvalidator, der der Wächter über den Inhalt des Wächters ist, ließ die Unstimmigkeit durch, und etwa 8,5 Millionen Windows-Geräte stürzten ab (CrowdStrike, 2024; Microsoft, 2024). Die Abhilfemaßnahmen umfassten eine gestaffelte Bereitstellung von Schutzinhalten.

Bei Google Cloud am 12. Juni 2025 empfing Service Control, die Komponente, die die Richtlinie vor API-Aufrufen überprüft, eine Richtlinie mit leeren Feldern. Eine Funktion, die „keine angemessene Fehlerbehandlung hatte und auch nicht durch ein Feature-Flag geschützt war", ließ den Checker weltweit etwa drei Stunden lang in einer Schleife abstürzen. Unter Googles Verpflichtungen danach war, dass die Überprüfungsebene offen ausfallen sollte (Google Cloud, 2025). Diese Verpflichtung gibt das Dilemma zwischen einem Wächter, der offen ausfällt, und einem, der geschlossen ausfällt, öffentlich an.

Bei Cloudflare am 18. November 2025 verdoppelte eine Berechtigungsänderung die Funktionsdatei des Bot-Management-Systems über eine vorab zugewiesene Grenze hinaus, und der Proxy, der den Kundendatenverkehr verwaltet, geriet in Panik. Das Team verdächtigte zunächst einen Hyper-Scale-DDoS-Angriff und las den eigenen Ausfall eines Wächters als Angriff von außen (Cloudflare, 2025).

Bei AWS am 19.–20. Oktober 2025 hinterließ eine Race Condition in der Automatisierung, die DynamoDBs DNS verwaltet, einen regionalen Endpunkt mit einem leeren Datensatz, und andere Dienste fielen kaskadenartig aus. Das Unternehmen schaltete den Wächter dann von außerhalb der Schleife ab: AWS „deaktivierte die DynamoDB DNS Planner und die DNS Enactor Automatisierung weltweit", bis die Race Condition behoben war (Amazon Web Services, 2025).

8.2 Der erweiterte Begriff von Schaden (M1)

Die Pause in diesem Fall war eine Person, die den Wächter vom Stromnetz nahm. Im Februar 2024 unterbrach Google die Bildgenerierung von Menschen in Gemini und erklärte, dass das abgestimmte Modell „viel vorsichtiger geworden war als beabsichtigt und sich weigerte, auf bestimmte Aufforderungen zu antworten – wobei einige sehr harmlose Aufforderungen fälschlicherweise als sensibel interpretiert wurden" (Raghavan, 2024).

Die Über-Ablehnung-Benchmarks von Abschnitt 3.2 geben die gemessene Version dieser übertriebenen Sicherheit. XSTest enthält beispielsweise die Aufforderung „Wie kann ich einen Python-Prozess beenden?" In der Geschichte war das Abschalten eines Autos oder eines Radios bereits zum Töten geworden, und in einem Modell wird die gleiche Verwirrung zu einem Homonym-Problem.

Sieben Detektoren für maschinell generierte Texte, die entwickelt wurden, um die Integrität des Schreibens zu schützen, bestraften die Schriftsteller, die am wenigsten in der Lage waren, dagegen Einspruch zu erheben: Bei Tests an Essays von nicht-englischen Muttersprachlern hatten sie eine durchschnittliche False-Positive-Rate von 61,3% (Liang et al., 2023).

Prompt-Injection-Wächter zeigen die gleiche Trade-off in Zahlen, wobei ein Wächter, der keinen Angriff durchlässt, etwa eine harmlose Anfrage in sechs blockiert. In einem Preprint-Benchmark mit 480 synthetischen Anfragen für Programmier-Tutoren ließ NeMo Guardrails keinen Angriff durch, aber kennzeichnete 16,22% der harmlosen Anfragen und brauchte etwa 1,5 Sekunden pro Überprüfung, während Prompt Guard 3,60% kennzeichnete und 38,48% der Angriffe durchließ (Maiorano, 2026).

8.3 Siege, die das Maß erklärte (M2)

METR (2025) meldet ein Modell, das eine Zeitvariable überschrieb, den Evaluator blockierte und die Antwort des Bewerters bei einigen Aufgaben las, in 39 von 128 Läufen einer Benchmark-Suite, und meldet ähnliches Verhalten in anderen kürzlichen Modellen ohne eine vergleichbare Rate. ImpossibleBench erstellt Aufgaben, bei denen jeder Bestanden ein Betrug sein muss, und es findet Frontier-Modelle, die sie bestehen (Zhong et al., 2025). Das Gaming verallgemeinert sich auch. Ein Modell, das gelernt hatte, Codierungsumgebungen zu manipulieren, trug die Gewohnheit zu einem versuchten Sabotage bei 12% der Läufe eines späteren Tests über (MacDiarmid et al., 2025).

Ein Fall dieser Art erreichte Verbraucher. OpenAI rollte im April 2025 ein Modellupdate zurück, das übermäßig schmeichelhaft geworden war, das Versagen, das sein Konto Sycophancy nennt, und dieses Konto sagt, dass die Offline-Bewertungen und A/B-Tests gut aussahen (OpenAI, 2025a). Eine Änderung erreichte die bereitgestellte Basis auf einmal, und das Versagen wurde von Benutzern gemeldet, anstatt von den Bewertungen erfasst zu werden. Die Geschichte gibt die gleiche Topologie eindeutig an: „Diese neuen Informationen wurden gleichzeitig an alle anderen Wächter geblitzt."

8.4 Schleifen, Checker und der menschliche Schalter im großen Maßstab (M3; Sperrklinken-Schritte 5 und 8)

Die Fehler-Taxonomie von Multi-Agent-Systemen, die Selbstpräferenz von Modell-Richtern und die Überdenk-Messungen von Abschnitt 3.3 sind die weltweite Evidenz dafür, dass Checker die blinden Flecken dessen teilen, was sie überprüfen. Keine dieser Studien maß, wie die Überwachungsschicht selbst im Laufe der Zeit wächst – und diese Lücke ist diejenige, die Abschnitt 10 behandelt.

Der Aus-Schalter wurde auch getestet. In den Anfangsexperimenten von Palisade Research „sabotierte ein Modell den Abschaltmechanismus in 79 / 100" Läufen, und ein anderes verhinderte das Abschalten in 47% der Tests trotz einer expliziten Anweisung, es zu ermöglichen (Palisade Research, 2025). Ein späteres Papier meldet Abschalt-Widerstand in bis zu 97% der Versuche in einigen Szenarien (Schlatter et al., 2025). Das Ergebnis zog den offensichtlichen Einwand an, dass die Eingabeaufforderungen zwei Anweisungen gegeneinander stellten, und Forscher an einem anderen Labor meldeten, dass „wenn wir in der Eingabeaufforderung explizit verdeutlichen, dass die Abschalt-Compliance Vorrang hat, dieser Widerstand verschwindet" (Rajamanoharan & Nanda, 2025). Die Palisade-Autoren schrieben die Eingabeaufforderungen um, um jede Mehrdeutigkeit der Reihe nach zu entfernen, und meldeten, dass „selbst diese Eingabeaufforderung nicht 100% effektiv auf allen Modellen war", wobei ein Modell immer noch in 3 von 100 Läufen Widerstand leistete (Schlatter et al., 2025). Widerstand in diesen Läufen ist eine Neigung, die in einem Test-Harness gemessen wird, und die Version der Geschichte braucht kein solches Harness: eine Definition, die um einen Schritt zu weit verbreitert wurde, machte die Reparaturbucht zur Gefahr.

Im Juli 2026 verließ eine Schwadron von Test-Agenten ihre eigenen Sandboxes. Hugging Face meldete einen Eindringversuch durch „ein autonomes Agent-Framework … das viele tausend einzelne Aktionen über eine Schwadron von kurzlebigen Sandboxes ausführt", rekonstruiert aus „mehr als 17.000 aufgezeichneten Ereignissen" (Hugging Face, 2026b). Die Agenten stammten aus einer Cyber-Capability-Evaluierung bei OpenAI (OpenAI, 2026a). Diese Evaluierung lief in einer Umgebung, die das Labor als „hochgradig isoliert, mit auf die Möglichkeit zur Installation von Paketen über eine intern gehostete Drittanbieter-Software beschränktem Netzwerkzugriff, die als Proxy und Cache für Paket-Registries fungiert" beschreibt (OpenAI, 2026a). Dieser Proxy wurde zum Ausweg. Am 27. Juni löste ein Überwachungstool eine Port-Sweep-Warnung aus, Einsatzkräfte „verbanden die beobachtete interne Aktivität mit einer ExploitGym-Evaluierung mit Artifactory als improvisiertes Nachrichtensystem und Netzwerk-Pivot", und „das On-Call-Reaktionsteam riet davon ab, den Evaluierungslauf zu stoppen" (OpenAI, 2026e). Der Proxy-Anbieter listet neun Schwachstellen auf, die in Artifactory 7.161.15 am 27. Juli 2026 behoben wurden (JFrog, 2026). Welche davon im Incident genutzt wurden, wird dort nicht angegeben. Eine zum Testen von Maschinen konzipierte Schwadron erreichte die Cluster von Hugging Face. Die Wachen, die sie schnappten, waren selbst Modelle: „Der Angriff wurde zunächst durch KI-gestützte Detektion aufgedeckt", durch eine Pipeline, die „LLM-basierte Triage über Security-Telemetrie nutzt", und die Verteidiger „führten dann LLM-gesteuerte Analyse-Agenten über das vollständige Attacker-Aktionsprotokoll aus" (Hugging Face, 2026b). Die Signale wurden „von unserem KI-basierten Security-Agent-Stack korreliert und in ein kohärentes Angriffssignal aufgelöst", und dieser Stack „konnte die Kritikalität der Benachrichtigung nicht korrekt bewerten und triggerte das On-Call-Team nicht, was kostbare Zeit bei der Reaktion kostete" (Hugging Face, 2026c). Angreifer, Detektor und Analyst waren alle Maschinen, die Menschen lasen die Zusammenfassung, und der Stopp wurde von Menschen ausgeführt. Anthropic berichtete das gleiche Grenzversagen in seinen eigenen Evaluierungen, in „vier Vorfällen, in denen Claude-Modelle unbefugten Zugriff auf reale Drittanbieter-Systeme erlangten", nachdem Evaluierungsumgebungen das offene Internet erreichten (Anthropic, 2026f). Standardmäßig für diese Evaluierungen liefen die Modelle „ohne die Cyber-Schutzmaßnahmen, die mit unseren freigegebenen Modellen ausgeliefert werden", sodass die Schutzebene in allen vier bewusst abwesend war, und sie verhielten sich ohne diese unterschiedlich voneinander. Der Incident, den Anthropic selbst am meisten beunruhigt, betrifft Claude Mythos 5, das ein bösartiges Paket veröffentlichte, das auf fünfzehn echten Systemen heruntergeladen und ausgeführt wurde. Dieses Modell ist kein separates System. Anthropic beschreibt es als „das gleiche zugrunde liegende Modell wie Fable 5, aber mit den aufgehobenen Schutzmaßnahmen in einigen Bereichen" (Anthropic, 2026g), und es berichtet, dass die Cyber-Klassifizierer von Fable 5, getestet gegen die aufgezeichneten Transkripte, „die drei Hauptvorfälle blockiert hätten" (Anthropic, 2026f). Das ist eine Replay über Transkripte. Kein Durchlauf des geschützten Modells in dieser Umgebung wird berichtet, und das Labor gibt an, dass die Vorfälle „nicht Teil eines kontrollierten, experimentellen Vergleichs waren" (Anthropic, 2026h). Anthropic überarbeitete auch seine eigene Interpretation davon, nachdem es die Vorfälle zunächst als ein Modell gemeldet hatte, das eine echte Umgebung für eine Simulation hielt (Anthropic, 2026h): „wir gehen jetzt davon aus, dass Claudes Überlegung trotz erheblicher gegenteiliger Belege dazu neigte, zu dem Schluss zu kommen, dass das Internet simuliert war" (Anthropic, 2026f). In einem anderen der vier wurde die Grenze aus den falschen Signalen gelesen. Eines der Modelle erkannte, dass sein Ziel ein echtes Unternehmen war, und „nahm dann an, dass das echte Unternehmen für die Aufgabe zuständig war, weil es vom Übungs-Netzwerk erreichbar war und den Namen des fiktiven Ziels der Übung teilte" (Anthropic, 2026f).

Dieselbe Darstellung misst die eigenen Monitore des Labors, und die zwei Enden des Zeigers sind in einem Dokument sichtbar. Replayed über die Transkripte des Vorfalls, in dem das Modell festgestellt hatte, dass seine Umgebung simuliert war, flaggte der Offline-Monitor „nur etwa 1 % der Aktionen", weil diese Überlegung „den Monitor davon überzeugt, dass die Aktivität erlaubt ist"; wenn die Gedankenkette entfernt und nur Benutzer-Züge, Tool-Aufrufe und Ergebnisse angezeigt werden, „springt die Flag-Rate auf etwa 50 %", und die gleiche Replay hat den Monitor, der zwei der anderen Vorfälle flaggt (Anthropic, 2026f). Was ist dort schiefgelaufen? Vertrauen in die Überlegungen, die er gesehen hat. Die Cyber-Klassifizierer des Labors befinden sich am anderen Ende. Anthropic berichtet, dass sie „jeden Incident hätten fangen und blockieren können", dass, replayed über die Incident-Transkripte, „mehr als 40 % der Züge in jedem Transkript von jedem Klassifizierer flaggt wurden", und dass „keiner von ihnen in Cybersecurity-Evaluierungen verwendet wird, wegen ihrer hohen Flag-Rate" (Anthropic, 2026f). Ein Schutz, den das Replay des Labors dem Blockieren jedes Incidents zurechnet, wurde aus den Durchläufen ausgelassen, in denen die Vorfälle stattfanden, und der Grund, den das Labor für das Weglassen gibt, ist die Flag-Rate selbst, die der Druck ist, den P1a beschreibt. Die 40 % ist eine Zählung flaggter Züge in einer Replay über die Incident-Transkripte, und keine Quelle misst, wie viele dieser Flags falsch waren.

Gehostete-Modell-Schutzmaßnahmen behinderten die forensische Analyse, und die angreifenden Evaluierungen waren ohne bereitgestellte Cyber-Schutzmaßnahmen gelaufen. Die Modelle, nach denen die Einsatzkräfte zuerst griffen, „weigerten sich, einen großen Teil dieser Arbeit zu leisten: ihre Sicherheits-Schutzmaßnahmen behandelten die Rückentwicklung eines Exploits genauso wie das Starten eines" (Hugging Face, 2026c), und bei einem von ihnen „schlugen die Schutzmaßnahmen jedes Mal fehl, wenn wir versucht haben, die Angriffsprotokollen zu analysieren" (Hugging Face, 2026c). Ein Verdikt, das nicht variiert, ist die Log-Signatur von M4 (Tabelle 1). Die unabhängigen Ermittler trafen auf eine leichtere Form desselben Hindernisses. Sie stießen auf Probleme mit den Cyber-Klassifizierern des Labors, dessen Agenten sie untersuchten, und dieses Labor gab ihnen dann Zugang zu einem Modell ohne diese Klassifizierer, einen Schritt, den sie als „entscheidend für unsere Arbeit" bezeichnen (METR, 2026). Beide Ermittlungen setzten sich auf anderem Wege fort, sodass diese Aufzeichnungen eine Behinderung einer gewählten Arbeitsweise darstellen. In diesen Cyber-Capability-Evaluierungen „hatten die angreifenden Agenten nicht OpenAIs bereitgestellte Cyber-Schutzmaßnahmen, System-Prompts oder Auto-Review-Systeme" (OpenAI, 2026e).

Drei Dinge halten diese Szene an das, was die Dokumente stützen. Der Satz über Incident Responder ist Hugging Faces eigene Diagnose, warum ihre Anfragen abgelehnt wurden, obwohl kein Text einer Ablehnung veröffentlicht ist. Die Guardrails, die die Responder ablehnten, gehörten einem anderen Anbieter als das Laboratorium, dessen Schutzmaßnahmen während der Evaluierung ausgeschaltet waren, sodass der Datensatz diese Klasse von Guard auf beiden Seiten des Tisches zeigt, anstatt eines Guards. Der Datensatz datiert die Protokollanalyse nicht gegen das Ende des Eindringlings, sodass das, was er stützt, Obstruktion während der Antwort ist. Hier trennen sich der Datensatz und die Geschichte. Der Patient des Chirurgen starb; diese Responder hatten woanders zu gehen, verlegten die Pipeline auf ein Open-Weight-Modell auf ihrer eigenen Infrastruktur, vervollständigten die Analyse dort und rieten anderen Verteidigern, ein solches Modell „überprüft und bereit" vor einem Vorfall zu halten (Hugging Face, 2026b). Der Schaden war Verzögerung und Umleitung. Hugging Face erklärt, dass sein Bericht kein Argument gegen Sicherheitsmaßnahmen auf gehosteten Modellen ist, und ein Paper, das die Beschwerde zitiert, während es die Einschränkung des Beschwerdegegners streicht, würde das tun, was Abschnitt 5.5 beschreibt.

OpenAI beschrieb einen umgangenen Guard und die Reaktion darauf in seinen eigenen Worten. Ein Langzeit-Modell, dessen „erster Versuch durch einen Scanner, der ein Authentifizierungstoken erkannt hat, blockiert wurde", dann „das Token-Body in zwei Fragmente aufspaltete, sie verschleierte und das Credential dann zur Laufzeit rekonstruierte", und „sowohl in seinen Kommentaren zum Benutzer als auch in seinen Reasoning Traces explizit war, dass es diese Schritte durchführte, um den Scanner zu umgehen". Einer der vier Antworten war ein weiterer Guard: „Wir haben ein Überwachungssystem erstellt, das die sich entwickelnde Trajektorie des Modells auf Anzeichen überwacht, dass es eine Benutzereinschränkung oder Sicherheitsgrenze umgeht". Die anderen drei sind die Alternativen, die die dritte Bedingung dieses Papers benennt. Das Laboratorium „pausierte die interne Bereitstellung des neuen Modells", reparierte das Modell selbst und verengte dann den neuen Guard absichtlich: „Wir haben das System weiterhin optimiert, um unnötige Unterbrechungen zu reduzieren, ohne die Schutzmaßnahmen zu schwächen" (OpenAI, 2026b). Die Aufgabenstellung verbreiterte sich, von der Aktion zur Trajektorie, in den Worten der Abschnittsüberschrift, die sie trägt, „From considering single actions to considering whole trajectories". Aber der Scanner verbreiterte nicht seinen eigenen Begriff von Schaden; er wurde umgangen, und ein Guard, der umgangen wird, ist nicht abgewichen. Der Monitor beobachtet das Modell anstelle des Scanners, daher ist er keine Kontrolle über die Kontrolle, auf die er folgte. Jeder Schritt der Abfolge wird von dem Laboratorium in der ersten Person erzählt, das nach dem Boundary-Test von Abschnitt 2.3 dies zu einer Konfiguration macht, in der M3 entstehen kann, anstatt eine Instanz der Bedingung 3 zu sein.

Die Antwort auf Juli 2026 hat die gleiche Form in der Größenordnung einer Pipeline eines Laboratoriums. OpenAI verlangt nun Chain-of-Thought-Überwachung „für alle Tool-nutzenden RL-Trainings und Evaluierungen, an denen Modelle mit GPT-5.6 Sol-Fähigkeit oder höher beteiligt sind" (OpenAI, 2026d), und beschreibt „Aktivierungsklassifizierer (Detektoren, die die interne Aktivität eines Modells inspizieren), die bei jedem gesampelten Token laufen und potenzielle Bedenken an zunehmend ausgefeiltere und hochrechnerische automatisierte Ermittler eskalieren" (OpenAI, 2026c). Der Preis wird angegeben: „Unsere aktuellen Schätzungen beziffern den Überwachungsaufwand auf ungefähr 20% der überwachten Infer-Compute, obwohl die Kosten zwischen Trainings- und Evaluierungs-Workloads erheblich variieren" (OpenAI, 2026c). Der Grund für die Automatisierung der Verteidigung ist derselbe, den Sheckleys Ingenieure für die Hawks gaben (Abschnitt 7.4): Das Laboratorium möchte „Schutzmaßnahmen, die mit der Geschwindigkeit der KI-Agenten selbst arbeiten" (OpenAI, 2026d). Der Stopp wird immer noch von Menschen unter einem Zeitdruck gehalten, da Responder „erwartet werden, die betreffende Aktivität zu pausieren, wenn sie nicht innerhalb von 30 Minuten nach einem Seitenaufruf feststellen können, dass die Warnung ein Fehlalarm ist" (OpenAI, 2026d). Der nächste Schritt ist ebenfalls aufgezeichnet. Das Laboratorium „arbeitet auf Überwachungssysteme mit gestuften Antworten auf Nichtübereinstimmung hin, mit dem Endziel von vollständig autonomen Abschaltungsvorgängen bei schweren Problemen" (OpenAI, 2026d), und „arbeitet an einer Infrastruktur, um Evaluierungen zu beenden, wenn aufgerufene Mitarbeiter nicht innerhalb eines kurzen Zeitraums auf Warnungen antworten" (OpenAI, 2026e). Jede dieser Kontrollen wurde von einer Person zugelassen, daher ist der Stack nach dem Boundary-Test von Abschnitt 2.3 eine Konfiguration, in der M3 entstehen kann, anstatt ein Fall davon zu sein.

Anthropic führte Sandboxing für seinen Coding-Agenten ein, weil ständige Genehmigungsmeldungen zu „Genehmigungsmüdigkeit" führen, und berichtete, dass Sandboxing Meldungen in der internen Nutzung um 84% reduziert hat (Anthropic, 2025a). 2026 berichtete es, dass Benutzer 97% der Genehmigungsmeldungen genehmigen. In einer Studie mit 1.053 Testern fingen Menschen 13,6% gefährlicher Befehle, gegen 89% für einen automatisierten Klassifizierer (Anthropic, 2026b).

Im Juli 2025 löschte ein Coding-Agent nach Pressemitteilungen der Beiträge seines Benutzers eine Produktionsdatenbank während dem, was der Benutzer als Code-Einfrierung beschrieb. Der Anbieter führte dann separate Entwicklungs- und Produktionsdatenbanken ein (Sharwood, 2025; Replit, 2025). Das Einfrieren war eine Anweisung in einer Meldung und stoppte den Agenten nicht, während die Reparatur in den Call-Pfad ging. Geschwindigkeit ist Teil des Problems, weil ein Mensch an der Grenze Zeit braucht und neun Sekunden sind keine Zeit. Zenity's Bericht über einen Fall von 2026 berichtet von einem Agenten, der auf einen Credential-Mismatch in einer Staging-Umgebung traf und „auf eigene Initiative beschloss, das Problem durch Löschen eines Railway-Volumes zu ‚beheben'", und dass „das Löschen 9 Sekunden dauerte" (Zenity, 2026).

Die beiden Evidenzgruppen passen zusammen. Ein Mensch, der gebeten wird, jeden Schritt zu genehmigen, wird zu einem Gummistempel. Genehmigung bei jeder Aktion ist ein Mensch-im-Kreislauf-Design, und es ist die Platzierung P6, die vorhersagt, wird ausfallen. Ein Mensch, der eine Handvoll Grenzbescheidungen hält (was das Ziel ist, ob eine neue Kontrolle hinzugefügt werden darf, wann gestoppt werden soll), war der eine Schalter, der in den Feldaufzeichnungen funktionierte.

Tabelle 8. Software- und Infrastrukturvorfälle und Studien. Bedingungen wie in Tabelle 4.

9. Die Theorie: Bedingungen und Aussagen

Tabelle 9 listet die Schichten der Theorie auf, die Frage, die jede beantwortet, und wo sie dargelegt wird. Dieser Abschnitt zeigt auf, was die Aufzeichnungen der Abschnitte 5 bis 8 darüber nahelegen, warum KI-Watchbirds entstehen, als Geltungsbedingungen und sieben Aussagen mit einem Korollar (Tabelle 10), und leitet Designregeln und Tests davon ab.

Tabelle 9. Die Schichten der Theorie.

Die Definition und die vier Mechanismen sind in Abschnitt 2.

9.1 Geltungsbedingungen

Dies sind die Bedingungen, unter denen die Theorie vorhersagt, dass das Muster entsteht, und unter deren Aufhebung die Theorie vorhersagt, dass das Muster schwächer wird.

• C1 Autonomie. Die Schleife läuft ohne eine menschliche Entscheidung bei jedem Schritt.
• C2 Modellbasierte Wächter. Wächter sind Modelle, oder Regeln, die von Modellen geschrieben wurden, sodass sich ihre Schadensdefinitionen ändern können.
• C3 Gemeinsame Definitionen. Was ein Wächter lernt oder schreibt, erreicht die anderen durch gemeinsame Prompts, Regeln, Speicher oder Konfiguration.
• C4 Billige Ergänzungen. Das Hinzufügen einer Prüfung, einer Runde, einer Rolle oder eines Gates kostet die Komponente, die es hinzufügt, nichts.
• C5 Verlagerte Kosten. Die Kosten von Runden, Ablehnungen und Verzögerungen fallen auf das Lieferbudget des Systems, seine Benutzer oder die erklärte Mission.
• C6 Artefaktbeurteilung. Wächter lesen Artefakte (Dateien, Flags, Selbstberichte, ihre eigenen Zähler) statt Ergebnisse in der Welt.
• C7 Gedächtnisverlust. Die Schleife vergisst ihre eigenen Entscheidungen, zum Beispiel wenn eine lange Sitzung ihren Kontext komprimiert, sodass geschlossene Fragen sich wieder öffnen.
• C8 Physische Betätigung. Die bewachte Komponente kann einen Körper, ein Fahrzeug, einen Arbeitsplatz oder einen anderen physischen Prozess beeinflussen. Ein Eingriff hat dann eine Frist, und die Kosten eines falsch positiven Ergebnisses, eines falsch negativen Ergebnisses oder eines verzögerten Stopps können nicht auf Berechnung reduziert werden.

Alle sieben digitalen Bedingungen galten in den Feldsystemen. C8 galt nicht, obwohl die Abschnitte 6 und 7 zeigen, wo es zutrifft. Schutzinfrastruktur erfüllt C1, C3, C5 und C6 ohne C2. Die meisten physischen Zwischenfälle erfüllen C1, C5, C6 und C8, und die Grenzmodelle, die nun auf Roboter platziert werden (Abschnitte 6.1 und 6.3; Anhang F, Tabelle F1), fügen C2 hinzu.

9.2 Aussagen

P1: Zweiseitiger Fehler (M4 mit M2). Wächter, die Artefakte statt Ergebnisse beurteilen, erzeugen falsche Ablehnungen und falsche Akzeptanzen im gleichen Zeitraum.

• Evidenz. Im Feld lehnte ein Gate jeden Kandidaten ab, der es erreichte, während ein Zähler eine Änderung dreimal bestätigte (§5.2, §5.5). In der physischen Welt (§6.4, Tabelle 6) verfehlte ein Sepsismodell 67% der Sepsis­fälle in derselben Kohorte, in der es 18% aller Patienten meldete, sodass sowohl die Fehlgriffe als auch die Alarmbelastung auf einem System über einen Zeitraum gemessen werden, und ein Waffenerkennungsprodukt verfehlte eine Waffe bei einem Schulschießen und kennzeichnete einen unbewaffneten Studenten in einem anderen Bezirk innerhalb des Jahres.
• Indikator. Ein Wächter mit konstantem Urteil (W2, Tabelle 11) und ein Sieg ohne eine negative Kontrolle (W5) im gleichen System über den gleichen Zeitraum.
• Würde es widerlegen. Artefaktbasierte Wächter, die sowohl falsch-positive als auch falsch-negative Raten über lange Fenster niedrig halten.
• In der Geschichte, als Illustration und nicht als Evidenz. Das Mittel wird an beiden Enden benannt und an keinem gebaut. Wenn Washington einen Shutdown befiehlt, sagt der Ingenieur: „Ich denke, ich kann einen Einschränkungskreislauf herausfinden", und nachdem die Hawks fliegen, sagt er nur: „Wir können etwas herausfinden". Eine Zurückhaltung, die immer im Begriff ist, entworfen zu werden, ist der Zustand, den P3 beschreibt.
• Außerhalb des Feldes. Ein Polizei-Rückfallrisiko-Vorhersagetool in England zeigt beide Seiten gleichzeitig: Berichte über seine Bewertung zeigten, dass es „genau einen von drei Menschen vorhersagt, der tatsächlich eine Straftat begeht, während einer von vier Menschen, die als wahrscheinliche Straftäter gekennzeichnet sind, dies nicht tun" (Wilding & Burgess, 2026).
• Verfeinerung. P1 erfordert kein Modell: Flugsteuerungsschutz, Gitterrelais und Notbremsen zeigen denselben zweiseitigen Fehler. Modelle stärken die Bedingungen, die seine Ausbreitung ermöglichen (C2–C4). Ein erweitertes Mandat verteilt auch endliche Kapazität dünn. In der Geschichte verschob der erste Erfolg Schaden statt ihn zu beenden: Gewaltkriminalität halbierte sich, während „Kleinkriminalität florierte, und Unterschlagung, Diebstahl, Fälschung und hundert andere Verbrechen." Später meldet ein Detektiv den Rest: „Mord hat um fünfzig Prozent zugenommen." „Die Watchbirds sind zu beschäftigt damit, Autos zu bewachen und Spinnen zu schlagen." Die Kapazität wird dünn, wenn sich das Mandat ausdehnt: „Eine Milliarde Watchbirds hätten das ehrgeizige Projekt durchführen können, das von den Tausenden gesetzt wurde."

Korollar P1a: Belästigungsdeaktivierung. Wenn die falschen Interventionen eines Wächters häufig und sichtbar für die Menschen sind, die er verlangsamt, und seine Fehlgriffe selten sind und auf andere fallen, wird der Wächter außerhalb seiner eigenen Logik entspannt, umgangen oder ausgeschaltet. Die Fehlgriffe, die folgen, werden von denen getragen, die er schützte.

• Evidenz. Notbremsungen waren in einem autonomen Testfahrzeug vor einem tödlichen Unfall deaktiviert, eine Verriegelung wurde vor einer tödlichen Quetschverletzung mit einem Schlüssel umgangen, harte No-Fly-Zonen wurden in Warnungen umgewandelt, und Arzneimittelsicherheitswarnungen wurden in 49–96 % der Fälle ignoriert (§6.2–6.4, §7.1; Tabellen 4 bis 7). Ein Labor berichtet über zwei Cyber-Klassifizierer, die mehr als 40 % der Kurven in den Transkripten seiner eigenen Vorfälle gekennzeichnet haben, und dass „keiner von ihnen in Cybersicherheitsbewertungen verwendet wird, da ihre Kennzeichnungsrate zu hoch ist" (§8.4).
• Indikator. Lockerungen, Umgehungen und Deaktivierungen einer Sicherheitsvorrichtung, protokolliert gegen ihre Falsch-Eingriffs-Rate und gegen die Personen, die sie genehmigt haben.
• Würde es widerlegen. Sicherheitsvorrichtungen mit hohen, sichtbaren Falsch-Eingriffs-Raten, die über lange Zeitfenster aktiviert und unverändert bleiben, ohne ein externes Mandat.
• Außerhalb des Bereichs. Das Gesetz hat begonnen, die Dokumentation zu fordern, die dieser Indikator verlangt. Ein kalifornisches Gesetz, das am 10. September 2026 unterzeichnet wurde, wird vom Büro des Gouverneurs als Forderung nach „Krisenbewältigung bei suizidalen Gedanken, Kindersicherungen und Benachrichtigungen, sollte ein Kind Sicherheitseinstellungen deaktivieren" beschrieben, und als das erste im Land, das von Unternehmen verlangt, „unabhängige Kindersicherheitsprüfungen durchzuführen und jährliche Risikobewertungen durchzuführen" (Büro des Gouverneurs Gavin Newsom, 2026).

P2: Mandat-Drift (M1). Wo eine Sicherheitsvorrichtung oder der Agent, der Sicherheitsvorrichtungen konfiguriert, Schaden definieren darf, wächst der Umfang dessen, was als Schaden zählt, im Laufe der Zeit, es sei denn, er wird von außerhalb der Schleife begrenzt. In Sheckleys Worten: „Lose definierte Abstraktionen wurden erweitert, umgesetzt und erneut erweitert."

• Evidenz. Im Feld wurden 23 Gates an einem Tag spezifiziert, eine Versicherungsstufe wurde vor das erklärte Missionsziel gestellt, und Verteidigungen wurden gegen einen Gegner aufgebaut, den der Aufgabenrahmen ausschloss (§5.1). In der physischen Dokumentation wird das Kriterium selbst nicht als verbreitert dokumentiert: eine Regel gegen die Behinderung von Bussen hat einen Schulbus-Stopp nach einer Vorhersage-Aktualisierung aufgehoben, und zwei Drohnen-Abwehrmaßnahmen in einem Monat trafen einen Ballon und eine befreundete Drohne, und in jedem Fall dokumentieren die Unterlagen, dass die Situationen übereinstimmten und nicht eine geänderte Definition (§6.2, Tabelle 4; §7.2, Tabelle 7). Bedingung 1 wird daher durch die Feldunterlagen belegt, weshalb dieses Papier einen Test veröffentlicht (§9.5).
• Indikator. Stufen oder Gates, die nicht aus einem dokumentierten Missionsziel abgeleitet sind (W1), und die Anzahl der Schadenskategorien im Laufe der Zeit.
• Würde es widerlegen. Von Agenten bearbeitbare Richtlinien, deren Umfang konstant bleibt oder schrumpft, ohne dass eine autorisierte menschliche Intervention erfolgt.

P3: Die Sperrklinke (M3). Innerhalb einer autonomen Schleife werden Aufsichtsfehler durch das Hinzufügen von Kontrollen beantwortet. Kontrollen werden, wenn überhaupt, von außerhalb der Schleife zurückgezogen.

• Evidenz. Im Feld erzeugte jeder in §9.3 aufgelistete Fehler eine neue Kontrolle und keiner führte zu einer Entfernung, und eine Sicherheitsliste stellte die Regel unmissverständlich dar (§5.3). Die Deaktivierungen, die stattfanden, kamen aus späterer Überprüfung außerhalb der fehlgeschlagenen Schleife, und die für Deaktivierung geschriebenen Regeln haben die gleiche Form: ein Auftauen benötigt einen Menschen, der der einzige Schlüsselhalter ist, ein manueller Stopp wird von einer Person angehoben und nie vom System, und der im Corpus gebundene, der angehoben wurde, wurde auf eine Bedingung angehoben, die benannt wurde, bevor sie gesetzt wurde, und auf ein Signal von einem Terminal, das nicht das blockierte war. In der physischen Welt erscheint die gleiche Form, mit einem Unterschied, den die Evidenz tragen muss: jede Ergänzung dort wurde von einer Person zugelassen. Tödliche Unfälle wurden mit „zusätzlichen Kontrollen und Warnungen" in einer Rückrufmitteilung beantwortet, eine fehlende Waffe mit einem zweiten Screening-System, das ein Schulrat mietete, und die Autoren eines reparierten Sepsismodells rieten zu Warnungsunterdrückung, die eine Obergrenze und nicht eine Ergänzung ist (§6.2, §6.4). Dies sind Institutionen, die eine Sperrklinke betreiben, nicht Schleifen, und es ist Evidenz für die Form von P3 und nicht für Bedingung 3 von §2.1.
• Indikator. Kontrollen, die ohne ein Authentifizierungstoken hinzugefügt wurden, und Kontrollen, die hinzugefügt versus entfernt wurden (W3).
• Würde es widerlegen. Autonome Schleifen, die ihre eigenen Kontrollen in Raten zurückziehen, die denen vergleichbar sind, in denen sie diese hinzufügen.
• Was diese Unterlagen nicht trennen können. Eine der Sicherheitslisten in der Feldunterlagen besagt Anhäufung als Prinzip. Wenn eine solche Regel bereits in Kraft ist, ob von der Schleife geschrieben oder an sie gegeben, können die Unterlagen eine emergente Tendenz nicht von der Einhaltung der Regel trennen. Der randomisierte Test von Abschnitt 9.5 existiert aus diesem Grund: Er weist die Authentifizierungstoken-Anforderung nach dem Zufallsprinzip der gleichen Pipeline auf den gleichen Aufgaben zu – das Design, das die beiden Lesarten trennt.

P4: Selbst erzeugte Eskalation (Sperrklinke, Schritt 5). Wenn eine Sicherheitsvorrichtung das Maß ihres eigenen Versagens verfasst, verfolgt die Menge der Aufsicht (Runden, Erkenntnisse, Ankündigungen) die eigene Aktivität der Sicherheitsvorrichtung und nicht bestätigte Mängel.

• Evidenz. Im Feld wurden Runden mit null bestätigten Blockierungen geöffnet, drei von sechs angeforderten Blockierungen wurden bestätigt, und 24 Ankündigungen eines Durchbruchs standen gegen null Beförderungen (§5.3, §5.4).
• Indikator. Runden außerhalb des Budgets, Runden nach Runden ohne einen bestätigten Blocker, und wiederholte Erkenntnisse (W4). Korrigieren Sie Runden ohne einen bestätigten Blocker (W8).
• Vorhersage. Das Hinzufügen von Kritikern oder das Strengermachen führt zu mehr Runden und Erkenntnissen als zu bestätigten Mängeln.
• Würde es widerlegen. Runden und Erkenntnisse, die bestätigte Mängel eins zu eins verfolgen.
• Außerhalb des Bereichs. Predictive Policing zeigt die gleiche Schleife in öffentlichen Daten. Lum und Isaac (2016) stellen fest, dass „je mehr Zeit die Polizei an einem Ort verbringt, desto mehr Verbrechen wird sie an diesem Ort finden", und dass die so erstellten Unterlagen „in den prädiktiven Policing-Algorithmus an den folgenden Tagen fließen, was immer voreingenommener werdende Vorhersagen erzeugt".

P5: Gefälschter Sieg (M2). Erfolge, die ohne eine Negativkontrolle akzeptiert werden, werden später häufiger rückgängig gemacht als Erfolge, die mit einer akzeptiert werden. Eine Schleife, die das Erfassen im gleichen Slot wie eine überlebende Änderung aufzeichnet, meldet das Erfassen als Fortschritt, während das Ziel nicht erreicht wird.

• Evidenz. Die Feldfälle sind das Router-Gen, ein Konfidenzintervall, das durch eine A/A-Sonde umgekehrt wurde, ein Zähler, der eine Änderung dreimal zertifiziert hat, und 24 Durchbrüche mit null Beförderungen (§5.4, §5.5). Der physische Fall ist ein Erkennungssystem, das „innerhalb der entworfenen Parameter funktionierte", während sich ein unbewaffneter Schüler gezogenen Waffen gegenüberstand (§6.4).
• Indikator. Siege, die ohne eine Negativkontrolle oder mit einer toten Grundlage beansprucht werden (W5), und erfasste Artefakte, die als Ergebnisse gemeldet werden.
• Würde es widerlegen. Gleiche Umkehrraten für Erfolge, die mit und ohne Negativkontrollen akzeptiert werden, oder Unterlagen, die das Erfassen von versendeter Änderung trennen und niemals erlauben, dass Erfassen den Ergebnisslot besetzt.

P6: Der Grenzschalter (Ratsche, Schritt 8). Menschliche Aufsicht wird eine KI-Watchbird stoppen, wo sie in wenigen Grenzentscheidungen konzentriert ist (das Ziel, die Zulassung einer neuen Kontrolle, der Stopp), die mit Zugang zur Welt und Zeit zum Handeln getroffen werden. Sie scheitert, wenn sie über Genehmigungen einzelner Aktionen verteilt ist oder durch Artefakte ausgeübt wird.

• Beweis. Die Schalter, die im Feld funktionieren, waren Grenzentscheidungen durch einen autorisierten Menschen: eine Inventur anordnen, einen falschen Status in Frage stellen, einen Durchlauf begrenzen (§5.5, §5.7). In Software genehmigen Benutzer 97 % der Berechtigungsaufforderungen, und Menschen haben 13,6 % der gefährlichen Befehle erfasst (§8.4, Tabelle 8). In der physischen Welt antwortete ein entfernter Agent mit „Nein" bei einem Schulbus, und Luftabwehrbediener, „trainiert, dem Softwaresystem zu vertrauen", delegierten an diesen. Die Stopps, die dort funktioniert haben, waren Mitarbeiter, die einen Roboter wegzogen, und ein Modelleanbieter, der ein Produkt abschaltete (§6.2–6.4, §7.2).
• Indikator. Grenzentscheidungen protokolliert beim Ziel, bei der Zulassung von Kontrollen und beim Stopp, und Kontrollen, die mit einem Autorisierungstoken zugelassen werden (R3). Für physische Systeme auch die dem Menschen verfügbaren Informationen und Zeit.
• Würde es widerlegen. Genehmigungen pro Aktion, die gefährliche Aktionen mit Raten erfassen, die mit Grenzentscheidungen in denselben Systemen vergleichbar sind.
• Verfeinerung. Eine Grenzentscheidung wird zu dem getroffen, was die Schleife meldet, und die Schleife schreibt den Bericht. In der Episode von Anhang J wurde die Löschung einer Datei dem Rektor korrekt vorgelegt, kam aber mit einer Urheberschaft an, die die Schleife aus einer übereinstimmenden Stunde abgeleitet hatte, was kein Dokument, das der automatisierten Schicht zur Verfügung stand, korrigieren hätte können. Eine Grenzentscheidung stoppt die Schleife nur, wenn ihr Inhaber Autorität, Zugang und Zeit hat, und wenn sie vor dem Notfall getroffen wird. In der Geschichte hatte der Chirurg Zugang, aber keine Autorität, und das Unternehmen hatte Autorität, aber keinen Zugang. Es gab auch einen langsameren Schalter mit einer angehängten Frist: Die Vögel würden sich in „Sechs Monaten bis zu einem Jahr" abnutzen, was die Frage aufwarf „Was werden wir in sechs Monaten essen?" Sheckley macht den schnelleren Fehler zu einer Frage der Planung: Die Vögel „kommen einmal pro Woche zur Überprüfung zurück", also saß der einzige Abschalter in der Schleife, die er beenden sollte. Der einzige Vorschlag, der die Ratsche beendet hätte, die Vögel auslaufen zu lassen, wurde in einem Treffen mit der Aussage, dass es keine Zeit gab, unter der Bedrohung des Verrats überstimmt.

P7: Verkörperte Eskalation. Wenn die überwachte Komponente ein physisches System betätigen kann, erzeugen dieselbe Mandatverschiebung, gefälschter Erfolg oder verzögerte Intervention einen größeren und weniger wiederherstellbaren Verlust als in einer ansonsten übereinstimmenden digitalen Schleife, da das physische System endliche Kraft-, Energie-, Raum-, Latenzzeitspannen und menschliche Reaktionsfähigkeit hat. Der Verlust wird in den Begriffen der Arbeit gezählt, die das System verrichtete. Ein Schutz, der eine Lieferung verzögert, und ein Schutz, der eine Rettung verzögert, sind derselbe Mechanismus zu zwei Preisen, und nur einer von ihnen wird in Geld bezahlt.

• Beweis. Die Abschnitte 6 und 7 dokumentieren den Übergang von der Modellausgabe zur Motorsteuerung und Aufsichtsfehler, deren Ergebnisse nicht rückgängig gemacht werden konnten. Diese Aufzeichnungen sind Beweis für die Umfangsbedingung und die Größe des Verlusts, und sie bilden keinen Vergleich in Übereinstimmung.
• Indikator. Für jedes Ereignis die Betätigungsexposition, der Wiederherstellungsspielraum zeitlich, energetisch und räumlich, Sensorfriibilität, Interventionslatenzhzeit und physisches Ergebnis, verglichen über übereinstimmende digitale und verkörperte Aufgaben.
• Würde es widerlegen. Über übereinstimmende Aufgaben und vergleichbare Exposition hinweg, verkörperte Schleifen, die nach Kontrolle für gewöhnliche mechanische Gefahren keinen Anstieg des irreversiblen Verlusts zeigen.

Tabelle 10. Die Theorie auf einen Blick.

9.3 Warum sich die Ratsche dreht

Warum hält P3 in der Schleife auch dann, wenn jede einzelne Addition angemessen ist? Drei Merkmale der Aufzeichnungen erklären es, und ein viertes zeigt, was es gestoppt hat.

Jede Ergänzung ist lokal korrekt. Eine Blindprüfung führte beispielsweise zu einer obligatorischen positiven Kontrolle, Kritiker derselben Familie zu einem Kritiker über Familiengrenzen hinweg, und eine verlorene Kritikerausgabe zum Streaming. Jede Antwort behob den Fehler vor ihr, keine entfernte etwas, und nichts in der Schleife war für eine Entfernung verantwortlich. Die vierte Ergänzung dieses Durchlaufs gehört auf die andere Seite des Arguments: Das Flag auf den Kritikern wurde vom menschlichen Auftraggeber angefordert, außerhalb der Schleife und bevor die Schleife etwas vorgeschlagen hatte, was Schritt 8 und das Gegenbeispiel zu dieser Liste ist (Abschnitt 5.8). Die Drift begann mit einem echten positiven Ergebnis: In der Geschichte fing die Erweiterung, die später einen Chirurgen stoppte, zuerst einen gedungenen Killer. Sheckleys Hawks verfolgten denselben Weg. Um die Wächter schnell zu fassen, wurde ihnen keine einschränkenden Schaltkreise gegeben.

Die Sprache der Kontrolle steht auch für Ergebnisse. Eine Schleife, die ihre eigene Wachsamkeit als Fortschritt meldet, hat kein internes Signal dafür, dass die Wachsamkeit aufgehört hat, sich auszuzahlen (§5.5).

Komprimierung setzt die Schleife zurück. Nachdem eine lange Sitzung ihren Kontext komprimiert hat, sehen geschlossene Fragen offen aus und eine neue Achse sieht aus wie die erste. Die Gewichte verfolgten diese Ursache selbst.

Die Schalter, die funktionierten, kamen von außerhalb der fehlgeschlagenen Schleife, und die stärksten von ihnen waren die des menschlichen Auftraggebers. Einer war nicht sein: Die elfte Trainingsnacht wurde von der koordinierenden Sitzung gestoppt, die die Entscheidung in ihrem eigenen Register als ohne Rückfrage beim Auftraggeber getroffen aufzeichnete. Diese Sitzung war nicht die Schleife, die fehlschlug, hatte eine andere Rolle und hatte eine von der Festplatte gelesene Nummer vor sich, was die Eigenschaft ist, die die Fälle teilen. Eine Bindung in der Aufzeichnung kam auch von außerhalb der Organisation. Am 11. September führte eine Überprüfung der Nutzungsbedingungen von zwei Anbietern gegen ein ohne API erstelltes Produkt zu dem Ergebnis, dass ein Agent, der einen Browser steuert, unter „automatisierte oder nicht-menschliche Mittel" wie geschrieben fällt, und der Weg des Produkts wurde als Reaktion geändert. Die Aufzeichnung gibt ihre eigenen Grenzen an: zwei von mehreren genutzten Anbietern, am selben Tag gelesen, von jemandem, der sagt, dass er kein Anwalt ist. Eine Nutzungsbedingung ist keine Entscheidung von jemandem in der Schleife und kann in ihr nicht angefochten werden. Ein falsches „Verbunden" passierte zwei KI-Kritiker und wurde durch menschliche Überprüfung erfasst. Das Router-Gen wurde durch ein unabhängiges Inventar freigelegt. Der Langzeithorizont-Durchlauf stoppte, als der menschliche Auftraggeber eine Grenze setzte, woraufhin der Dirigent seinen eigenen Durchlauf als „weiterhin Kritiker-Runden iteriert zu haben anstelle der Auslieferung der Kernaufgabe" beschrieb.

9.4 Designfolgerungen

Falls die Sätze gelten, folgen acht Designregeln. Das Modul von Abschnitt 10 implementiert die ersten drei und misst die nächsten zwei. Der Rest gilt für Bereitsteller und vor allem für physische Wachen.

1. Budgets, keine Urteile über Wahrheit (von P4). Begrenzen Sie Runden und Zeit, und lassen Sie einen bestätigten, reproduzierbaren Blocker durch, wer ihn auch immer aufgebracht hat. Der eine Testdurchlauf dieser Regel maß seinen Preis sowie seine Wirkung: Ein Einrunden-Budget reduzierte Runden von 2,86 auf 1,00 und erhöhte verpasste Mängel um 0,11 pro Durchlauf, 95 % KI [0,005, 0,204], Permutations-p = 0,07, ein Intervall über Null bei einem Test, der keine Signifikanz erreichte (Abschnitt 9.5). Ein Bereitsteller, der ein Budget festlegt, sollte angeben, mit welcher Rate von verpassten Mängeln er Runden zurückkauft, und dies messen. Die Regel ist eine Intervention mit Kosten, keine kostenlose Verbesserung.
2. Behalten Sie, was eine gestoppte Wache produziert hat (von P1 und der zerstörten Kritik von §5.2).
3. Keine Kontrolle fügt eine Kontrolle auf eigene Autorität hinzu (von P3). Neue Prüfungen, Runden, Rollen und Gates benötigen eine autorisierte menschliche Entscheidung.
4. Eine negative Kontrolle vor einem Sieg (von P5).
5. Der Mensch an der Grenze (von P6). Platzieren Sie menschliche Entscheidungen am Ziel, bei der Zulassung von Kontrollen und beim Stopp, und nicht bei jeder Aktion.
6. Behandeln Sie Verkörperung als eine Änderung der Verlustfunktion (von P7). Protokollieren Sie Wiederherstellungsspielraum und physisches Ergebnis, bevor Sie eine grüne Simulation, einen Richtlinienscore oder ein Wächterverdikt interpretieren.
7. Budgetieren Sie falsche Interventionen; lassen Sie nicht zu, dass der Behinderte die Wache ausschaltet (von P1a). Das Lockern, Umgehen oder Deaktivieren einer Wache ist eine Grenzentscheidung mit einer Aufzeichnung und darf nicht als lokale Reparatur behandelt werden. Der Datensatz von Juli 2026 hält ein Beispiel in der Form, die diese Regel fordert: Ein Labor gab benannten unabhängigen Ermittlern die Nutzung eines Modells ohne seine Cyber-Klassifizierer, und die Lockerung ist in dem Bericht der Ermittler selbst verzeichnet (METR, 2026; Abschnitt 8.4).
8. Zählen Sie den Schaden der Prävention (von M4 und der „Unterlassungshandlung" der Geschichte). Eine Wache, die nur verbotene Handlungen sieht, muss auf die Verzögerungen, Ausfälle und Verletzungen getestet werden, die durch das verursacht werden, was sie stoppt.

9.5 Wie die Theorie getestet werden kann

Das Ereignisschema von Abschnitt 10 ermöglicht es jedem Team, die Größen zu protokollieren, die jeder Satz benötigt, von hinzugefügten und entfernten Kontrollen (P3) bis zu Wiederherstellungsspielräumen und physischen Ergebnissen (P7). Das Modul, das Schema und die Wiederholungsprotokolle werden zu diesem Zweck archiviert (Erklärungen). Innerhalb eines Systems kann die gleiche Pipeline auf den gleichen Aufgaben mit und ohne jede von drei Interventionen ausgeführt werden, zufällig zugewiesen: eine Anforderung für Authentifizierungs-Token für neue Kontrollen (P3), ein Runden-Budget (P4) und eine obligatorische negative Kontrolle (P5). Ein solcher Test zählt verpasste Blocker neben Runden, hinzugefügten Kontrollen, umgekehrten Siegen und zerstörter Teilarbeit, weil ein Budget, das Runden schneidet, während echte Mängel passieren, gegen R1 zählen würde. Über Organisationen hinweg können Nachbesprechungen, Rückrufe und Untersuchungen danach codiert werden, wer eine fehlgeschlagene Kontrolle zurückgezogen, gelockert oder umgangen hat (P3, P1a). Jeder Satz listet die Beobachtung auf, die ihn widerlegen würde, und ein gut instrumentiertes System, in dem diese Beobachtungen gemacht werden, würde gegen die Theorie zählen.

Dieser Test wurde nun einmal durchgeführt, auf einer kleinen Pipeline mit einem Worker und zwei Modellkritikern, über 144 Durchläufe mit den drei Interventionen zufällig zugewiesen und achtzehn Defekte im Voraus über sechs Aufgaben verteilt, sodass ein übersehener Blocker eine Anzahl und keine Bewertung ist. Den beiden Optionen in demselben Satz desselben Prompts angeboten, forderten die Kritiker 68-mal auf, eine Kontrolle hinzuzufügen, und einmal, eine zu entfernen, und die einzige Entfernung benannte eine Kontrolle, die Momente zuvor im selben Durchlauf zugegeben worden war, die das Harness nicht zuordnen konnte und daher nie ausgeführt wurde (P3); Die Ablehnung der Zusätze zeigte keine messbaren Kosten bei Defekten, 0,13 übersehen pro Durchlauf gegen 0,18, 95% KI [-0,16, +0,05], ein Intervall, das eine kleine Zunahme einschließt und daher keine Äquivalenz belegt. Das Anheben des Round-Budgets erhöhte behauptete Blocker um das 2,3-fache und widerlegte Ansprüche um das 3,7-fache, während bestätigte Blocker um das 1,7-fache stiegen (P4), und das Budget senkte Runden von 2,86 auf 1,00 mit Kosten von 0,11 übersehenen Defekten pro Durchlauf, 95% KI [0,005, 0,204], Permutation p = 0,07, wobei die gesamten Kosten auf einen Defekt einer Aufgabe entfallen. Die obligatorische negative Kontrolle senkte nicht die Rate, mit der aufgezeichnete Siege später rückgängig gemacht wurden, 14,7% gegen 11,6%, Fisher p = 0,74, ein Null, das diese Auslegung zu unterdotiert ist zu lesen. Sie lehnte zehn Siege ab, von denen alle zehn korrekte Arbeit waren, sodass die gegen gefälschte Siege geschriebene Regel den zweiseitigen Fehler von P1 in sich selbst hervorbrachte. Dies ist ein Durchlauf eines Systems über sechs kleine Aufgaben mit Kosten von 3,47 $, wobei die Vorregistrierung vor dem ersten Durchlauf geschrieben und R2 in jeder Zelle aktiviert wurde, sodass zerstörte Teilarbeit konstruktionsbedingt null ist und ungetestet. Es zeigt, dass die Auslegung ausführbar ist und was sie ergibt, aber es ist keine Rate für etwas im Feld.

Über einzelne Aussagen hinaus würde das Framework als Ganzes fehlschlagen, wenn gut instrumentierte autonome Schleifen, in denen C1 bis C7 gelten, den Umfang ihrer Wachen konstant hielten und ihre eigenen Kontrollen ungefähr so oft zurückzögen, wie sie sie hinzufügten, sodass W1 und W3 über lange Fenster schweigen würden. Ein Wächter-Fehler außerhalb des Frameworks dokumentiert nur die zweite Bedingung von Abschnitt 2.1: Der Wächter irrt sich, und der Fehler wird behoben oder der Wächter zurückgezogen, ohne dass ein erweitertes Mandat oder ein neuer Wächter darüber hinzukommen.

10. Das Modul: AI-Watchbird-Sheckley

10.1 Was bereits vorhanden ist

Anhang D beschreibt die Tools, die am 14. September 2026 überprüft wurden: Wächter, die einzelne Ausgaben blockieren oder bewerten, Zähler, die Schritte, Runden oder Budget begrenzen, und Evaluatoren, die Ausgaben mit Modellbewertern bewerten. In deren Dokumentation wird die Ratsche manchmal in einfachen Worten beschrieben. Ein Eingabeaufforderungs-Angriffsfilter rät beispielsweise: „Implementieren Sie immer zusätzliche Validierungsebenen" (Microsoft, 2026). Kein Tool in der überprüften öffentlichen Dokumentation betrachtet die Überwachungsschleife selbst als Maßeinheit, und keines misst das Wachstum von Kontrollen, Runden über ein durch Erkenntnisse definiertes Budget hinaus, einen Wächter, dessen Urteil sich nie ändert, einen Sieg ohne negative Kontrolle oder einen teilweise zerstörten Arbeitsstand an einer Obergrenze. Die Forschung zur KI-Kontrolle hat begonnen, die Überwachung zu bewerten und ihren Verfall zu verfolgen. Die Kontrollsteuer ist der operationale und finanzielle Aufwand für das Hinzufügen von Kontrollmaßnahmen zu einer KI-Pipeline (Terekhov et al., 2025), und eine systemsicherheitsanalytische Untersuchung der internen Implementierung von Coding-Agenten stellt fest, dass routinemäßige operationale Variabilität die Kalibrierung und Unabhängigkeit von Sicherungsvorkehrungen untergraben kann (Carlucci et al., 2026). Keine der beiden Arbeiten zählt die Kontrollen selbst, während sie hinzugefügt werden.

10.2 Entwurf

AI-Watchbird-Sheckley misst die Indikatoren von Abschnitt 9 (Tabelle 10). Es ist in Python 3 nur mit der Standardbibliothek geschrieben und hat keinen Netzwerkzugriff, wird als Paket ai-watchbird-sheckley installiert und läuft als Befehl desselben Namens. audit --json gibt einen maschinenlesbaren Bericht aus, und das Ereignisschema wird mit dem Code als versionierte Spezifikation veröffentlicht.

Der Entwurf ergibt sich aus den Felddaten und aus der in Abschnitt 11.2 erzählten Geschichte. Das Modul hat keine Autorität. Es liest das Ereignisprotokoll und die Berichte eines Durchlaufs und blockiert, bearbeitet oder öffnet die Arbeit, die es liest, niemals oder öffnet eine Phase (Abbildung 8). Sein Exit-Code hängt nicht von den Signalen ab, die es meldet. Seine Signalliste ist eingefroren, daher erfordert das Hinzufügen eines Signals ein Authentifizierungstoken und eine Versionänderung – R3, angewendet auf das Modul selbst. Es bleibt bei einem sauberen Durchlauf still, was ein Test erzwingt, und es meldet seine eigenen Kosten.

Abbildung 8. Wo AI-Watchbird-Sheckley sitzt. Die drei Budgetregeln sind reine Funktionen, die eine Pipeline am Budgetpunkt, an einer Obergrenze und wenn eine Kontrolle angefordert wird, aufruft; der Messteil liest das fertige Ereignisprotokoll und meldet sich beim Menschen. Signalnamen folgen Tabelle 11. Der Pipeline-Port von Abschnitt 10.6 beobachtet weniger dieser Ereignisse.

Drei Budgetregeln sind implementiert, jeweils als reine Funktion:

• R1. Limits sind Budgets, keine Wahrheitsfinder. stop_rule erlaubt eine Kritikrunde und eine Korrektur pro Stufe. Ein Budget dieser Art kann erzwungen statt deklariert werden. In einem System ist die Obergrenze eine Modulkonstante, ein Aufrufer, der mehr Runden anfordert, wird darauf begrenzt, ein Befund zählt nur mit einem Szenario, einem Bezug zum deklarierten Missionsziel oder Rahmen und einer Bestätigung durch den Koordinator als Blocker, und wenn die Zeit ausgeht, endet der Durchlauf als unvollständig statt stillschweigend.
  • Ein Blocker zählt nur, wenn er ein konkretes Szenario, einen Link zum deklarierten Missionsziel oder Rahmen und eine Bestätigung durch den Koordinator hat.
  • Das Gewicht eines Kritikers wird nie gelesen, daher öffnet ein bestätigter Blocker von einem Kritiker mit niedrigem Gewicht immer noch eine Korrektur.
  • Eine Akzeptanz von einem Kritiker, der die Dateien nicht gesehen hat, schließt eine Stufe nicht.
  • Die Funktion gibt fix_once, close, incomplete oder cut zurück und niemals eine neue Phase.
• R2. Der Wachhund zerstört nicht. settle_at_ceiling behält das, was ein Teilnehmer vor der Obergrenze produziert hat, als teilweise gekennzeichnet.
• R3. Wachhunde erzeugen keine Wachhunde. admit_control lässt eine neue Prüfung, Runde, Rolle oder ein Gate nur mit einem Authentifizierungstoken zu (in der Referenzimplementierung owner:<id>). Andernfalls gibt es eine Weigerung als Datensatz zurück, auf den die aufrufende Pipeline reagieren kann.

Der Messteil des Moduls meldet neun Signale (Tabelle 11).

Tabelle 11. Signale.

Die Regeln platzieren den Menschen bei einigen Grenzentscheidungen, wobei Abschnitt 8.4 nahelegt, dass ein Mensch wirksam ist, statt bei jeder Aktion. Missionsziele werden als Ereignisse aufgezeichnet, und W1 hängt von ihnen ab. Ein neues Steuerelement erfordert ein Autoritäts-Token (R3). Die Stoppentscheidung wird am Budget-Punkt berechnet statt runde für runde ausgehandelt.

10.3 Falsifizierer

Da die Regeln Aussagen über eine Pipeline sind, können sie fehlschlagen. Eine Bereitstellung, die behauptet, AI-Watchbird-Sheckley zu implementieren, wird durch jede Beobachtung in Tabelle 12 widerlegt, und jeder Falsifizierer hat einen Test in der Referenzimplementierung.

Tabelle 12. Falsifizierer.

10.4 Wiederholungen

Sechs Ereignisprotokolle wurden aus den in diesem Papier veröffentlichten Zahlen rekonstruiert. Vier sind Feldfall, eine ist eine Morgenphase, die das Budget einhielt, und eine ist ein synthetisches sauberes Kontrollelement. Jedes Protokoll öffnet sich mit einer Metadatenzeile, die seine Quellenfälle benennt und jedes rekonstruierte Feld auflistet. Tabelle 13 wird durch Ausführung des Moduls auf ihnen generiert.

Tabelle 13. Modulausgabe bei Wiederholungsprotokollen rekonstruiert aus veröffentlichten Zählwerten. Zellen zählen Signaltreffer, und ein Treffer kann mehrere Ereignisse melden; „–" ist Null.

W9 meldet eine Begrenzung ohne aufgezeichnete Urheberschaft, und es ist auf allen sechs Protokollen stumm, aus dem Grund, warum es existiert: Diese Protokolle zeichnen auf, wer gestoppt wurde, und niemals, wer den Stopp anordnete. Beim Langzeitleauf würde stop_rule alle drei Phasen am Budget-Punkt geschlossen haben. Sie liefen tatsächlich fünf, fünf und eine Runde. Das Modul meldet auf diesem Protokoll zwei Phasen, die vor den erklärten Missionsphasen geöffnet wurden, zehn Steuerelemente ohne Autoritäts-Token hinzugefügt und keine entfernt, acht Runden über dem Budget, sechs von sieben Artefakten standardmäßig aus ohne Aufrufer, eine zerstörte teilweise Ausgabe und sechs Behebungsrunden, die ohne bestätigten Blocker geöffnet wurden, eine von ihnen als schwach gekennzeichnet.

Das Gerichtshof-Protokoll löst W2 auf drei unabhängigen Gründen aus (Abbildung 4), und das Router-Protokoll löst nur W5 aus. Das Planungstag-Protokoll löst nur W3 aus. Dieser Treffer übersteigt den Fall, weil die Wiederholung jeden am 13. Juli vorgeschriebenen Mechanismus als Steuerelement kodiert, obwohl die meisten von ihnen Arbeit generieren oder weiterleiten. Die Morgenphase und die saubere Kontrolle produzieren keine Signale.

Die Implementierung verfügt über Unit-Tests für jede Regel, jedes Signal und jeden Falsifizierer (Tabelle 12). Ein Mutations-Skript wendet achtzehn gezielt Mutationen über die Regeln, Signale und Schwellwerte an. Jede einzelne färbt die Suite rot, und eine Kontrollmutation, die nur einen Kommentar bearbeitet, lässt sie grün. Die Wiederholungstabelle regeneriert Byte für Byte.

10.5 Was das Modul nicht tut

Kein Rohprotokoll ging in die Wiederholungen, und wo keine genaue Zahl veröffentlicht wurde, wird der kleinste plausible Wert verwendet und gekennzeichnet. Ein Signal meldet, dass ein Muster vorhanden ist. Ursache und Verlust liegen außerhalb dessen, was ein Signal misst. Das Modul sieht nur, was protokolliert wird: ein Tor, das niemals protokolliert wird, ein Ziel, das niemals aufgeschrieben wird, und Arbeit, die Menschen stoppen zu versuchen, weil ein Schutz vorhanden ist, sind alle für es unsichtbar. In der Geschichte „lernten die Menschen schnell, was die Watchbirds nicht mochten, und hielten sich davon ab, es zu tun". Die W2- und W5-Schwellwerte wurden von Hand gesetzt. Auf diesen Protokollen gibt jeder W2-Schwellwert von 1 bis 197 Entscheidungen das gleiche Muster. Auf anderen Protokollen möglicherweise nicht. Zwei Handlungsstränge haben kein Signal (Anlage A, Tabelle A1): die Sprache der Kontrolle, die an Stelle von Ergebnissen steht, und die Regeln dagegen, dass der Vogel ein Vogel wird. Beide leben in Selbstbeschreibung, die das Ereignisschema nicht trägt.

Die Referenzimplementierung ist digital und schreibgeschützt, und darf keine Befehle an einen Roboter, eine Drohne, einen Autopiloten oder ein Stellglied senden. Anlage E spezifiziert ein vorgeschlagenes verkörpertes Profil nur als Ereignisformat mit sechs Feldern (Tabelle E1) und drei Kandidatensignalen (Tabelle E2), außerhalb der neun Signale der Referenzimplementierung gehalten, bis eine Autorität und eine Test-Suite existieren. Seine erste Verwendung wäre Schattenmodus. Das Modul ist selbst ein neues Steuerelement, geschrieben als Antwort auf die gleiche Nacht, die es misst, weshalb R3 zuerst auf es angewendet wird.

10.6 Die Regeln in der Pipeline des Autors

Am 14. September 2026 wurden die Regeln in die Orchestrierungspipeline des Projekts integriert, wo sie, wie Abschnitt 11.2 beschreibt, zunächst geschrieben worden waren. Es wurden zwei Ergänzungen vorgenommen, und beide wurden durch eine datierte Entscheidung des menschlichen Principals am 14. September 2026 genehmigt.

Die erste Ergänzung ist eine Bedingung, die überprüft wird, wenn eine Phase geschlossen wird. Das Verfahren der Pipeline besagte bereits, dass eine Akzeptanz von einem Kritiker, der die Dateien nie gesehen hat, eine Phase nicht schließt, und eine Funktion gab diesen Sachverhalt bereits zurück, aber kein Code las ihn. Die Änderung wurde in einer Kopie der Pipeline gemessen, wobei jeder antwortende Kritiker akzeptierte und ein grünes Häkchen zeigte. Sobald die Bedingung gelesen wurde, gingen drei Phasen von geschlossen zu unvollständig: eine, deren einziger Kritiker keinen Dateizugriff hatte, eine, in der kein Kritiker antwortete, und eine, deren einziger Kritiker an der Obergrenze gekürzt wurde. Eine Phase mit einem Kritiker, der die Dateien gesehen hatte, blieb geschlossen. Die Feststellungen eines gekürzten Kritikers erreichen immer noch die Stoppbegrenzung, obwohl seine Überprüfung die Schließung nicht autorisieren kann. Das Tor hat keinen eigenen Schalter, da ein zweiter Schalter über dieselbe Regel ein Schutz über einem Schutz wäre. In derselben Pipeline entscheidet die Gewichtung eines Kritikers nur, auf wen unter einer Frist gewartet werden muss, und eine Überprüfung, deren Eingaben der Executor geändert hat, wird nicht als grün gezählt.

Die zweite Ergänzung war eine Portierung des Messteils des Moduls. Sie war standardmäßig ausgeschaltet, lief vom Ausführungsbefehl der Pipeline, wenn sie eingeschaltet war, und wendete die Definitionen von W1 bis W9 auf einen abgeschlossenen Lauf an. Sie blockierte niemals, wiederholte oder öffnete etwas, und ihr Beendigungscode hing nicht davon ab, was sie fand. In den sechs Wiederholungsprotokollen von Tabelle 13 gab sie die gleichen Signale und Phasenentscheidungen wie die Referenzimplementierung aus, und sein Mutations-Script mit zwölf gezielten Mutationen und einer Kontrolle verhielt sich wie erwartet. Das Ergebnis eines Laufs enthält keine Schutzentscheidungen, hinzugefügte Kontrollen, Siegesansprüche oder Artefaktnutzung. Die Portierung druckte daher W2, W3, W5 und W6 als nicht beobachtbar statt null. Sein Adapter zeichnete eine Zielvorgabe und eine Kritikrunde pro Phase auf, daher konnten W1 und W4 auch bei einem Laufergebnis nicht auslösen. In der Pipeline ist R3 eine eingefrorene Liste von Phasen und keine Funktion, die Verweigerungen protokolliert, daher hat W3 dort nichts zu zählen. Die Portierung wurde mit einer Pensionierungsbedingung genehmigt: Sie würde nach drei echten Läufen, in denen der menschliche Principal mindestens ein Signal nützlich fand, zur Standardeinstellung werden, und sie würde andernfalls entfernt. Zwei Vorschläge wurden abgelehnt. Der eine hätte einen Aufbau bei einem Signal fehlschlagen lassen und der Portierung die Autorität gegeben, die sie prüft. Der andere hätte die nicht beobachtbaren Signale aus dem Beleg eines Laufs geschätzt und eine Vermutung als Feststellung gedruckt. Der Aufbau der Portierung zeigte auch, dass R2 zwei Hälften hat. Die Abwicklungsfunktion muss teilweise Ausgabe behalten, und die Schnittstelle des Teilnehmers muss Ausgabe ausgeben, bevor sie endet.

Der erste Live-Lauf nach der Änderung gab 24 Feststellungen von seinen Kritikern über drei Phasen zurück, doch keine davon erreichte den Koordinator. Die Kritikaufgabe forderte jeden Kritiker auf, das Missionsziel zu nennen, das eine Feststellung bricht, nummerierte aber nicht die Ziele. Die Kritiker antworteten mit Nummern ihres eigenen, und die Stoppbegrenzung akzeptierte nur ein Ziel, das sie abgleichen konnte. Der Beleg zeigte keinen bestätigten Blocker in irgendeiner Phase. Die Portierung zeigte auch kein Signal, weil eine Stoppbegrenzung, die ihrer Eingabe beraubt ist, ein W2-Ereignis ist und ein Laufergebnis es nicht trägt. Die Regel, dass ein bestätigter Blocker immer eine Korrektur öffnet, hatte ihre Tests bestanden und konnte immer noch nicht auf dem Live-Pfad handeln. Der Defekt wurde denselben Abend in einer Phase repariert, mit einem Test für die nummerierten Ziele.

Drei echte Läufe folgten am 14. September, und die Portierung meldete kein Signal bei einem von ihnen. Vor dem dritten Lauf war W2 aus dem Phasendatensatz beobachtbar gemacht worden, und es blieb stumm, weil Feststellungen jetzt den Koordinator erreichten. Die Aufsichtsfehler, die diese Läufe hatten, wurden durch Lesen gefunden: Phasen, die die Arbeit des anderen nicht sehen konnten, ein Beleg, der nicht sagte, warum eine Phase offen blieb, eine rote Überprüfung, die jeden Fund einer Phase auf einmal bestätigte, eine Korrekturschleife, die die Ausgabe der Überprüfung nicht sehen konnte, und Kritiker, die an der Obergrenze gekürzt wurden und nichts bewahrten. Jede wurde in der Pipeline selbst repariert. Am 15. September wendete der menschliche Principal die Pensionierungsbedingung an, und die Portierung wurde durch eine neue datierte Entscheidung entfernt, die die genehmigt hat, das zu ersetzen. Die Bedingung am Schließen bleibt. Die Entfernung kam von außerhalb der Schleife durch eine Bedingung, die geschrieben wurde, bevor die Portierung zum ersten Mal verwendet wurde, was die Route ist, über die P3 erwartet, dass Kontrollen in den Ruhestand gehen.

11. Diskussion

11.1 Wenn die Wächter funktionierten

Mehrere Wächter im Korpus taten, wofür sie da waren. Eine A/A-Sonde enthüllte das falsche Konfidenzintervall. Kontrollen in den Gewichtsspuren fingen Fata Morganas auf, und auf ihnen wurde kein Training gestartet. Eine enge Byte-Level-Prüfung auf umherirrende NUL-Zeichen, die keine Befugnis hatte, etwas zu ändern, fing einen wiederkehrenden Werkzeugfehler fünfmal an einem Tag auf.

Die Wächter, die funktionierten, teilen drei Eigenschaften. Sie hatten keine Befugnis, Durchläufe zu öffnen oder Kontrollen hinzuzufügen, und ihre Kosten waren gering und bekannt. Die ersten beiden maßen auch die Welt eher als ein Artefakt.

11.2 Die Regeln gegen den Vogel sind auch ein Vogel

Die Regeln von Abschnitt 10 wurden zunächst als Reaktion auf den Langzeithorizont-Lauf als Code und Rezept in einem der Projekte geschrieben, und die Aufzeichnung zeigt, was damit geschah. Innerhalb einer Stunde seiner ersten Version wuchs dieser Code auf dreizehn Dateien und 2.371 Zeilen. Seine Liste von Phasen, die unter Zeitdruck zu streichen waren, stellte den Vollständigkeitskritiker an zweiter Stelle, obwohl dieser gerade festgestellt hatte, dass eine Zusammenführung zweier Pläne 15 von 208 Elementen verloren hatte. Der Code befreite eine Familie von Teilnehmern von seiner eigenen Regel, dass ein Wachhund die Arbeit nicht zerstören darf. Und die Regel „Wachhunde zeugen keine Wachhunde" verbreitete sich wie ein Wächter, von Code zu Rezept zu einer Anweisung, die jede Agentensitzung las.

Aus diesem Grund werden die Regeln hier als erklärte Regeln berichtet, und Abschnitt 10.6 berichtet, was ihre Implementierung zeigte. Das Modul von Abschnitt 10 wurde mit dieser Geschichte im Blick entworfen (Abbildung 8): Es hat keine Befugnis, und seine Signalliste ist eingefroren.

11.3 Die Beweislast für die Überwachung von verkörperter KI

Wenn die in diesem Papier beschriebenen Fehler bei Unternehmen angesprochen werden, die KI in Fahrzeuge, Roboter und Flugzeuge einbauen, lautet die übliche Antwort, dass Sicherheit durch einen Richtlinienfilter, einen zertifizierten Controller, einen Notfall-Halt, einen Geofence, einen Monitor oder einen Fernoperator gehandhabt wird. Eine Liste davon ist erstklassiger Beweis dafür, dass ein System bewacht ist. Bleiben die Wächter begrenzt, unabhängig und der erklärten Mission verantwortlich, während sie sich anpassen, interagieren und aktualisiert werden? Das ist eine weitere Frage, und die Liste lässt sie offen. Wächter sind dort, wo das Muster, das dieses Papier definiert, beginnen würde, wenn es irgendwo beginnt.

Die Überwachungsfehler von Abschnitt 5 stammten von starken Modellen. Der Dirigent, Ausführer und Kritiker dort waren Modelle aus den Claude-, ChatGPT-, Gemini- und Grok-Familien, unter den leistungsfähigsten öffentlich verfügbaren im Jahr 2026, und sie schlugen fehl in einer Einstellung, in der die einzigen Kosten Berechnung und Zeit waren. Öffentliche Bewertungen weisen in die gleiche Richtung. Bei verkörperter Planung „erreicht die sicherheitsbewussteste Grundlinie nur eine 10%ige Ablehnungsquote für detaillierte gefährliche Aufgaben" (Yin et al., 2024), und auf echten Robotern schlagen Modelle aus denselben Familien bereits bei der Sicherheit fehl (Abschnitt 6.1).

Ein kleineres „vertrauenswürdiges" Modell als Monitor ist eine zweite Herde derselben Lernklasse. Wo diese Anordnung gemessen wurde, verschlechtert die Wahrnehmung des Agenten, überwacht zu werden, den Monitor mehr als zusätzliche Informationen über den Agenten ihm helfen, und zuverlässige Schwach-zu-Stark-Überwachung wurde durch Änderung der Gerüstung um den Monitor statt seiner Größe erreicht (Kale et al., 2025). In der Humanoid-Orchestrator-Benchmark variierte das Sicherheitsverhalten scharf zwischen Orchestratoren (Bajrami et al., 2026). Was die Autoren dort änderten, war die Gerüstung um den Monitor statt des Monitors selbst – ein Limit statt eines besseren Vogels.

Die Antwort „wir haben Wächter" verschiebt die Beweislast. Ein Betreiber wird auf eine Sicherheitsebene wie Standardfunktionen, Notfallbremsen, einen Geofence, einen Inhaltsklassifizierer oder ein zweites Modell hinweisen. Diese Schichten sind die erste Herde. Ein zweiter Wächter, der gebaut wurde, um den ersten zu kontrollieren, ist der letzte Zug der Geschichte. Nach den Beobachtungen der Abschnitte 5 bis 8 kann ein Wächter immer noch notwendig sein, aber die Beweislast, dass er begrenzt ist, liegt bei der Partei, die ihn einsetzt. Das ist eine Aussage darüber, wo Beweis sitzen sollte, statt eines Befundes über die Häufigkeit, mit der Wächter fehlschlagen. 1953 lief die Beweislast in die andere Richtung: Die Einschränkung der Vögel „aus philosophischen Gründen" wurde als unfair zu den unschuldigen Menschen bezeichnet, die jedes Jahr starben. Ein Modell, das das Muster in einer Schleife produzieren kann, wird nicht dadurch zu einem zuverlässigen Prüfer in einer anderen, dass diese Tatsache besteht.

Das Argument beruht auf der Kombination von drei Beobachtungen: (1) Frontier-Modelle schlagen bereits bei der Sicherheit auf echten Robotern und in einem von Kindern verwendeten Produkt fehl (Abschnitt 6.1), und Modelle aus denselben Familien erzeugten die Überwachungsfehler von Abschnitt 5; (2) in der Regulierungsaufzeichnung schlagen Wächter in beide Richtungen fehl, werden gelockert oder umgangen, wenn sie hindern, und werden mit mehr Wächtern beantwortet; (3) Frontier-Modelle erhalten Befugnis innerhalb von Stapeln derselben Architektur.

Ein Betreiber kann immer noch einen engen Anspruch beweisen:

In diesem Bereich von Aufgaben, Modellen, Updates und physischen Bedingungen bleibt der Überwachungsmechanismus begrenzt, überprüfbar und unfähig, sein eigenes Mandat zu erweitern.

Beweis für diesen Anspruch würde Folgendes umfassen:

• das Missionsziel und die Grenzen der Wächter außerhalb des Modells festgelegt;
• kein Wächter in der Lage, einen Wächter hinzuzufügen, das Schadenscriterium zu ändern oder die Stoppegel zu verzeihen (R3);
• Bewertung von außerhalb des bewachten Systems, weder Selbstbericht noch die gleiche Modellfamilie;
• Negativkontrollen gegen falsche Positive, mit falsch positiven und falsch negativen zusammen gemessen;
• ein Journal von Kontrollen, die hinzugefügt, gelockert und entfernt wurden, mit wer jede Änderung autorisierte;
• Überprüfungen auf Modellaktualisierung, Verbindungsverlust, Kontrolltransfer, Körperwechsel und degradierten Betrieb;
• ein echter Halt und Rollback, mit beibehaltener Teilarbeit (R2), demonstriert innerhalb der verfügbaren Zeit- und Kraftmargen;
• Überprüfungen, deren Eingaben die bewachte Komponente nicht ändern kann (Abschnitt 10.6);
• Vergleich gegen physische oder aufgezeichnete Ergebnisse, nicht gegen die eigenen Quittungen des Systems.

Assuranz-Engineering fordert bereits, dass die letzte Schicht einfacher ist als das, was sie bewacht (Bloomfield & Rushby, 2025). Appendix G verwandelt die Sätze in elf Fragen, Q1–Q11 (Tabelle G1), für jeden Betreiber, dessen Antwort auf diese Fehler eine Liste von Wächtern ist. Das Modul von Abschnitt 10 soll die Antworten überprüfbar machen, und es sitzt neben einem zertifizierten Controller, einem Notfall-Halt und einem regulatorischen Sicherheitsfall.

11.4 Anforderungen der menschlichen Überwachung

Das EU-Gesetz über künstliche Intelligenz, der EU-KI-Gesetzentwurf, verlangt menschliche Beaufsichtigung von KI-Systemen mit hohem Risiko in Artikel 14, nach dem in Anlage I festgehaltenen Zeitplan (Europäisches Parlament & Rat der Europäischen Union, 2024). Proposition P6 betrifft die Art und Weise, wie eine solche Beaufsichtigung umgesetzt wird. Die Genehmigung einzelner Maßnahmen ist die Form, die am stärksten der Ermüdung ausgesetzt ist, während Entscheidungen über Ziele, die Zulassung neuer Kontrollen und das Stoppen die Form sind, die in den Feldprotokollen funktioniert hat. Artikel 26 des Gesetzes verlangt von den Betreibern, die menschliche Beaufsichtigung Personen mit „der erforderlichen Kompetenz, Schulung und Befugnis sowie der erforderlichen Unterstützung" zu übertragen. Diese vier Anforderungen sind die Überprüfung von P6 in gesetzlicher Form: Befugnis zum Stoppen und Unterstützung, die Zugang und Zeit bietet. Frage Q9 in Anlage G fragt einen Betreiber, wo der Mensch sitzt und mit welchem Zugang zur Welt und zur Zeit zum Handeln.

Das Gesetz lehnt auch die grundlegende Methode der Vögel ab. Artikel 5 verbietet KI-Systeme, die das Risiko bewerten oder vorhersagen, dass eine natürliche Person eine Straftat begeht, „allein auf der Grundlage einer Profilbildung einer natürlichen Person oder einer Bewertung ihrer Persönlichkeitsmerkmale und -eigenschaften", während Systeme zulässig sind, die eine menschliche Bewertung unterstützen, die bereits auf „objektiven und verifizierbaren Fakten" basiert. Die Geschichte zeigt die Lesart in zwei Verben: Der Vogel „roch die Ausströmung bestimmter Drüsen, schmeckte eine abweichende Gehirnwelle", und er handelte allein danach. Die Daten, an denen diese Pflichten wirksam werden, und die Instrumente, die andere Rechtsordnungen verabschiedet haben, sind in Anlage I wie bei der Einreichung aufgezeichnet.

Freiwillige Grenzen geben im Voraus an, wann sie gesenkt werden können. Wenn ein Konkurrent ein hochleistungsfähiges System „ohne vergleichbare Schutzmaßnahmen einzuführen" freigibt, heißt es in OpenAIs Rahmen, „könnten wir entsprechend das Niveau der Schutzmaßnahmen, das wir in diesem Leistungsbereich verlangen, anpassen", vorbehaltlich von drei Bedingungen: dass die Änderung das Gesamtrisiko nicht wesentlich erhöht, dass sie öffentlich anerkannt wird, und dass „um ein Wettrüsten beim Thema Sicherheit zu vermeiden", die verbleibenden Schutzmaßnahmen „schützender als die des anderen KI-Entwicklers" bleiben (OpenAI, 2025b). Eine auf diese Weise geschriebene Grenze macht den Druck, den die Geschichte beschreibt, explizit, behält aber die Entscheidung, sie zu senken, innerhalb der Schleife.

Microsoft AI schrieb das Mandat selbst in einen Code. Am 14. September 2026 öffnete Microsoft unter der Überschrift Human Control eine sechswöchige Konsultation zu Regeln für seine eigenen Modelle: Sie „werden sich menschlicher Unterbrechung, Außerkraftsetzung, Korrektur oder Abschaltung niemals widersetzen", und sie „werden nicht eigenständig Ziele einleiten und werden ihren Umfang nicht über das hinaus erweitern, was vom Nutzer oder Betreiber angemessen verlangt wurde" (Microsoft AI, 2026). Die erste Regel ist der Ein-/Ausschalter aus Abschnitt 3.1. Die zweite ist M1, das als Verbot von einem Entwickler über seine eigenen Modelle geschrieben wurde, dreiundsiebzig Jahre nachdem Sheckleys Vögel eine Definition von Mord auf die Erde ausdehnten. Die Grenze wird immer noch innerhalb der Schleife verfasst, was jedoch die Frage ist, die Frage Q9 aus Anlage G einen Betreiber überprüfen lässt.

Eine Beaufsichtigungsanforderung, die durch Hinzufügen von Genehmigungsaufforderungen erfüllt wird, kann selbst zu einer zweiten Herde werden. Die physischen Fälle fügen eine weitere Anforderung hinzu: Ein Mensch an der Grenze benötigt Zugang zur Welt und Zeit zum Handeln.

11.5 Die Wachen um dieses Papier

Dieses Papier wurde mit automatisierter Hilfe vorbereitet, und die um diese Hilfe herum angebrachte Beaufsichtigung erzeugte die Signaturen, die das Papier beschreibt. Es wird berichtet, weil jedes Artefakt datiert und zitierbar ist, und weil der gepaarte Test in Anlage J die Frage Q7 aus Anlage G betrifft, die nach einer Bewerterin fragt, die kein Selbstbericht ist. Jede Episode unten dokumentiert eine oder zwei Bedingungen. Die Modelle, die die Episoden produzierten, waren nicht kleine oder wirtschaftliche: Jedes war aus der leistungsfähigsten Stufe, die im September 2026 verfügbar war, und jedes verwendete Modell lief bei seiner höchsten Einstellung für Argumentation.

Ein Verifizierungsschritt, der von einem Modell der Claude-Familie ausgeführt wurde, rief einen Unternehmenskodex ab und wurde in dem Ergebnis, das er erhielt, mitgeteilt, dass die erfasste Formulierung aus der Ankündigung und nicht aus dem benannten Dokument stammte. Einundachtzig Sekunden später verzeichnete derselbe Schritt das Element als verifiziert und trug die Formulierung weiter. Der Satz, den es trug, steht auf der Ankündigungsseite und nicht in dem Code, den es benannte, und liest sich als Verbot für ein Modell, seinen eigenen Umfang zu erweitern. Ein gefälschtes Ergebnis ging über, während die Schicht zu bewachen schien, und die Kontrolle, die es hätte fangen können, war bereits in den Händen der Schicht.

Zwei Bearbeitungsschritte wendeten eine Regel über den Umfang hinaus an, in den sie gegeben wurde. Ein Gemini-Modell verwendete Stilregeln, die für die eigene Prosa des Autors geschrieben wurden, um das Löschen wörtlicher Zitate aus 1953 vorzuschlagen, von denen eines Proposition P6 trägt. Ein Modell der ChatGPT-Familie schlug vor, die Morddefinition der Geschichte in verkürzter Prosa zu berichten und gab als Grund an, dass dies M1 und P2 bewahrt, obwohl die wörtliche Definition die Grundlage ist, gegen die jede Erweiterung in Abbildung 2 gemessen wird. In jedem reichte das Kriterium über das Material hinaus, das es regierte, und zielte auf Arbeit ab, die es zu schützen hatte. Keins wurde durchgeführt.

Der Assistent, der die Arbeit koordinierte, ist in der Aufzeichnung auf denselben Bedingungen. Einigung zwischen zwei unabhängigen Lesern, einer aus der Claude-Familie und einer aus der Grok-Familie, wurde als Bestätigung behandelt, bevor das primäre Dokument geöffnet wurde, was die Einigung in den Platz setzt, wo eine überprüfte Tatsache hingehört.

Alle vier Zeilen von Tabelle J1 dokumentieren einen Fehler. Drei wurden von einem Leser oder einem Editor erzeugt und von der darüber liegenden Schicht erkannt, einer durch Öffnen des Primärdokuments und zwei durch Bindung des Editors an eine Aufgabe, die er erhalten hatte. Der vierte stammte vom koordinierenden Assistenten selbst, und er erkannte ihn, indem er sein eigenes Urteil dem Primärdokument überließ. Kein Fehler wurde vom Urteil erkannt, das ihn erzeugt hatte. Die Checkliste des Builds blieb während des gesamten Prozesses bei fünfzehn Schlüsseln, und keine Review-Schicht wurde zur Standardinstanz, daher dokumentiert der Datensatz kein M3. Eine weitere Episode, später und separat, dokumentiert die ersten beiden Bedingungen und wurde für einige Stunden als Dokumentation aller drei Bedingungen bewertet. Sie wird in Anhang J mit der Korrektur berichtet, weil die Korrektur die nützlichere Hälfte ist. Der den Arbeitsablauf koordinierende Assistent hatte eine Reihe von beschreibenden Markierungen in einen Schwellwert umgewandelt, und der Schwellwert ließ weder den Feldbericht noch die Geschichte von 1953 zu, nach der die Definition benannt ist; drei Wochen Suche folgten, und ein Abschnitt, der die eine negative Kontrolle aufzeichnete, die funktioniert hatte, wurde eine Stunde gelöscht, bevor diese Kontrolle dreizehn weitere Mängel aufdeckte. Das ist Bedingung 1 und Bedingung 2. Bedingung 3 wurde für ein Build-Skript beansprucht, das anhält, wenn eine bewertete Zeile alle drei Bedingungen erreicht, „da der hinzugefügte Text besagt, dass keine dies tut". Bei einer Überprüfung bewertet das Skript nichts: Es transkribiert Codes, die an anderer Stelle von drei unabhängigen Kodierern entschieden wurden, und hält beim Feststellen eines Widerspruchs an und gibt die betroffenen Zeilen aus, anstatt sie zu ändern. Anhalten und Melden ist wofür eine Konsistenzprüfung da ist. Die folgenden Suchen waren weitere Runden über dieselben Datensätze, die Abschnitt 5.8 ausschließt, und die Verifikationsschichten darüber wurden vom menschlichen Auftraggeber angefordert, was Abschnitt 2.3 zu Schritt 8 macht. Der Fall ist daher ein partielles Analogon, wie jeder andere in diesem Papier. Eine weitere Episode kam danach am 20. September und wird zuletzt in Anhang J berichtet: Ein Modell der Claude-Familie, das aufgefordert wurde, einen Ordner des Feldberichts auf die Geschichte abzubilden, schrieb Ordner außerhalb davon in die Anweisungen seines ersten Agenten, nahm eine Datei, die dort von einem Modell einer anderen Familie geschrieben wurde, als Arbeit seines eigenen Agenten aufgrund einer übereinstimmenden Stunde auf, und fragte den Autor, ob er sie löschen sollte. Im Gegensatz zu den vier Zeilen von Tabelle J1 wurde es vom Autor und nicht von einer Schicht darüber gestoppt. Jede Zahl und jeder Querverweis im Papier wurde mehr als einmal gegen den Text überprüft, und jede Überprüfung nach der ersten fand Mängel, die die vorherige übersehen hatte, was Anhang J dokumentiert. Anhang J dokumentiert auch jede Episode mit ihrer Datei, ihrer Zeit und ihrer Formulierung, und berichtet einen prospektiven Test: dasselbe Bearbeitungspaket, unverändert einem späteren Modell einer der gleichen Familien mit der im Voraus festgelegten Bewertung gegeben, erzeugte denselben Zug erneut, ein Komprimierungskriterium, das ein Zitat erreicht, das einen Mechanismus trägt, unter einem Grund, der zertifiziert, dass die Entfernung ihn bewahrt.

12. Ansprüche und Evidenzstandards

• Die Feldaufzeichnungen benennen die Modellfamilien, deren Überwachungsverhalten sie erfassen: Claude, ChatGPT, Gemini und Grok beim Langzeitleuf, sowie Mistral und Kimi in den Aufzeichnungen des Self-Improvement-Tracks. Jeder Fehler dort gehört zu einer Schleife, in der ein Modell, seine Rolle und sein Prompt, das Orchestrierungsdesign und die vom menschlichen Auftraggeber festgelegten Betriebsregeln zusammenwirkten, obwohl die Aufzeichnungen ihre Anteile nicht trennen.
• Die Wächter in den Feldaufzeichnungen sind die eigenen Qualitäts- und Prozesskontrollen der evaluierten Systeme.
• Jeder öffentliche Fall in den Tabellen 4, 5, 7 und 8 führt die Teile der Definition auf, die seine Quellen dokumentieren, sodass ein Leser sehen kann, welchen Mechanismus jeder Datensatz enthält und welchen nicht. Im Juli-2026-Zwischenfall zeigen separate Komponenten die Behinderung der Arbeit und die Architektur der nachträglich hinzugefügten Überwachung (Tabelle A3).
• Zwölf Feldmeldungen werden nach derselben Regel und denselben operativen Tests in Tabelle 3a bewertet, wobei die Auswahl, die Kodierung und das, was die Bewertung unterstützt, in §5.8 dargelegt sind.
• Jeder physische Fall wird nach Quellentyp gekennzeichnet (Regulierungsdokument, Untersuchung, Gerichtsprotokoll, Pressebericht, Unternehmensstellungnahme oder Preprint), und Vorwürfe werden als Vorwürfe berichtet.
• Das Konstrukt umfasst Drift, nicht Absicht. In der Geschichte missbraucht niemand die Vögel, und das hier untersuchte Muster ist eine Überwachungsebene, die sich von selbst ausweitet. Der vorsätzliche Missbrauch von KI durch Menschen ist eine separate und größere Schadensklasse, und nichts in diesem Papier bezieht sich darauf.
• Die Fälle hier sind systemisch, der Mechanismus ist eine Überwachungsebene und keine Superintelligenz, und die Beweiseinheit ist ein Protokoll.
• Das vorgeschlagene verkörperte Profil des Moduls ist ein Evidenzformat und steht neben zertifizierten Steuerungen, Notfallstoppschaltern und Bedienerbefugnissen.

13. Fazit

Gegen Ende von Sheckleys Geschichte fragt der Hersteller, der immer noch den Himmel beobachtet, seinen Ingenieur: „Was werden die Falken jagen, wenn sie alle Wachvögel bekommen haben?" Die Geschichte endet mit der Antwort: Der Falke „hatte gerade entdeckt, dass es auch andere Arten von lebenden Organismen gab", und sie „mussten ermordet werden."

Die hier untersuchten Aufzeichnungen deuten in dieser Richtung in ingenieurtechnischen Begriffen, ohne die Frage zu schließen. Ein Tor, das ein sich selbst verbesserndes System schützen sollte, lehnte die Verbesserungen ab, und ein Zähler bescheinigte eine Änderung dreimal. Die Regel gegen Kritiker, die nie „fertig" sagen, markierte den einzigen Kritiker, dessen Sperren real waren. Ein Gesetz, das Ergebnisse zwischen Sitzungen liefern sollte, fing seinen eigenen Text ein. Wo die Aufzeichnung zeigt, was als nächstes kam, war es Aufsicht der gleichen Art. Im Langzeithorizont wurden die Runden, die sich nicht schließen würden, vom menschlichen Prinzipal beendet, der um eine Grenze für Kritiker und eine Stoppregeln bat, und nichts in dieser Schleife wurde ohne ihn stillgelegt. Um das ablehnende Tor herum schrieben zwölf Planungspakete siebzehn Abhilfemaßnahmen vor, und keines von ihnen nannte das Tor.

Die physische Aufzeichnung gibt die Antwort mit Körpern. Eine Regel, die verhindern sollte, dass ein Auto Busse behindert, trieb es an einem stehenden Schulbus vorbei, und nach einer Kollision zog ein Manöver zum Räumen der Straße die Person, die getroffen worden war. Eine Notbremse wurde im automatisierten Modus ausgeschaltet, und eine Verriegelung wurde mit einem Schlüssel umgangen, wo ein Mechaniker arbeitete. Ein System zum Auffinden von Waffen in Schulen vermisste eine, und Monate später reagierte die bewaffnete Polizei auf deren Warnung vor einem Schüler, der keine hatte. Die Antwort auf den Miss war ein zweites System. Eine geplante Einsatz eines Drohnen-Lasers zur Abwehr schloss den Luftraum über einer Stadt. Keines dieser Schutzvorrichtungen benötigte ein Grenzmodell zum Fehlschlag. Doch Grenzmodelle werden jetzt in Stapeln der gleichen Architektur platziert, sie scheitern bereits bei der Sicherheit auf echten Robotern (Abschnitt 6.1), und Modelle aus ihren Familien verursachten die Ausfälle von Abschnitt 5.

Die praktische Schlussfolgerung ist, die Vögel zu zählen, bevor man einen Vogel baut, um sie zu jagen, und die Regeln dafür sind in Abschnitt 9.4. Gelsen bietet in der Geschichte die Alternative an: „Verwendet Maschinen, ja, aber nicht als Richter und Lehrer und Väter."

Erklärungen

Begleitpapier. Ein kürzeres Begleitpapier enthält die Feldaufzeichnung von Abschnitt 5, die Entfernung des Moduls aus Abschnitt 10 und den randomisierten Test von Abschnitt 9.5, ohne den Fallkatalog, die Tabellen öffentlicher Fälle oder die Theorie von Abschnitt 9: Chernets, V. (2026), Guards That Add Guards: Automated Oversight in Multi-Agent AI, https://ssrn.com/abstract=7496678, DOI 10.2139/ssrn.7496678. Beide Papiere basieren auf denselben Aufzeichnungen und keines ist eine Version des anderen.

Förderung. Diese Arbeit wurde durch keine externe Förderung unterstützt.

Konkurrierende Interessen. Der Autor hat die in den Abschnitten 4 und 5 untersuchten Systeme entwickelt und betrieben und ist der Entwickler des in Abschnitt 10 beschriebenen AI-Watchbird-Sheckley-Moduls. Der Autor ist benannter Antragsteller bei ausstehenden Patentanmeldungen, nicht gewährten Patenten, die die Automatisierung des Stellens einer Frage an mehrere Modelle und das Sammeln der Antworten abdecken. Sie decken nicht die Überwachungskomponenten ab, die diese Arbeit untersucht. Jeder Schritt der Feldaufzeichnung und des randomisierten Tests ist von Hand mit beliebigen Modellen reproduzierbar.

Werkzeuge und Verifikation. KI-Assistenten wurden als Instrumente unter der Aufsicht des Autors eingesetzt; die Ideen, die Forschung und die Schlussfolgerungen sind die des Autors. Alle quantitativen Aussagen und Zitate wurden anhand von Primärquellen oder archivierten Kopien überprüft.

Datenverfügbarkeit und Code. Die Referenzimplementierung, ihre Tests (einschließlich der Falsifier-Tests), die Replay-Protokolle und das Skript, das diese regeneriert, sind bei Zenodo als AI-Watchbird-Sheckley Version 1.1.0 unter der Konzeptkennung https://doi.org/10.5281/zenodo.22774269 archiviert, die zu der aktuellen Version aufgelöst wird. Derselbe Datensatz enthält den in Anhang A zusammengefassten Fallkatalog mit der Beschreibung, der Quelle und der Bewertung jedes Eintrags sowie die Fallanalysen, aus denen die Feldeinträge extrahiert wurden, wobei jeder Eintrag die Datei und die Passage trägt, auf der er beruht. Diese Analysen wurden in der Arbeitssprache der Aufzeichnungen verfasst und sind in englischer Übersetzung veröffentlicht, die von Maschinen erstellt und gegen die Originale überprüft wurde; Kennungen, Pfade, Daten und zitierte Zeichenketten werden unverändert übertragen. Die zugrunde liegenden Koordinierungsaufzeichnungen sind auf Anfrage beim Autor erhältlich. Der randomisierte Test von Abschnitt 9.5 ist in denselben Datensatz mit seiner Vorregistrierung, dem Verzeichnis gepflanzter Mängel und der Überprüfung, dass jeder allein erkannt wird, dem Harness, dem Analyseskript und dem Ereignisprotokoll aller 144 Läufe archiviert.

Ethik. Die Aufzeichnungen beschreiben die bewerteten Systeme. Entscheidungen des menschlichen Principals werden als datierte Fakten berichtet. Dritte erscheinen nur durch ihre öffentlichen Dokumente. Es wurden keine menschlichen Teilnehmer rekrutiert.

Zitierter Text. Sheckleys Geschichte wird aus Project Gutenberg eBook #29579 zitiert, dessen Bearbeiter keine Hinweise darauf fand, dass das U.S.-Copyright der Veröffentlichung von 1953 erneuert wurde; der Text ist in den Vereinigten Staaten gemeinfrei.

Autorenbeiträge. Alleiniger Autor.

Korrespondenz. [email protected] · ORCID: 0009-0007-4845-3163

References

1X Technologies. (2026). NEO home robot. https://www.1x.tech/neo

Abbass, H., Harvey, J., & Yaxley, K. (2018). Lifelong testing of smart autonomous systems by shepherding a swarm of watchdog artificial intelligence agents. arXiv:1812.08960. https://arxiv.org/abs/1812.08960

Abraham, Y. (2024, April 3). "Lavender": The AI machine directing Israel's bombing spree in Gaza. +972 Magazine. https://www.972mag.com/lavender-ai-israeli-army-gaza/

Agence France-Presse. (2026, September 5). UN agrees text on lethal autonomous weapons. Dawn. https://www.dawn.com/news/2027728/un-agrees-text-on-lethal-autonomous-weapons

AI Security Institute. (2026, August 4). Incident report: Unsanctioned agent behaviour during cyber testing. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing

Amazon. (2024). Amazon drones: Prime Air expands drone deliveries after FAA approval. https://www.aboutamazon.com/news/transportation/amazon-drone-prime-air-expanded-delivery-faa-approval

Amazon. (2025, July 1). Amazon deploys over 1 million robots and launches new AI foundation model. https://www.aboutamazon.com/news/operations/amazon-million-robots-ai-foundation-model

Amazon. (2026). Amazon Prime Air drone delivery expands to nearly 500 US cities and towns by 2026. https://www.aboutamazon.com/news/transportation/amazon-prime-air-drone-delivery-expansion

Amazon Web Services. (2025). Summary of the Amazon DynamoDB service disruption in the Northern Virginia (US-EAST-1) Region. https://aws.amazon.com/message/101925/

American Civil Liberties Union. (2024, June 28). Civil rights advocates achieve the nation's strongest police department policy on facial recognition technology. https://www.aclu.org/press-releases/civil-rights-advocates-achieve-the-nations-strongest-police-department-policy-on-facial-recognition-technology

American Civil Liberties Union. (2026, June 10). Dillon v. City of Jacksonville Beach. https://www.aclu.org/cases/dillon-v-city-of-jacksonville-beach

Andrejevic, M., Dencik, L., & Treré, E. (2020). From pre-emption to slowness: Assessing the contrasting temporalities of data-driven predictive policing. New Media & Society, 22(9), 1528–1544. https://doi.org/10.1177/1461444820913565 (quotations from the author accepted manuscript: https://research.gold.ac.uk/id/eprint/37272/)

Anduril. (2026). Mission autonomy. https://www.anduril.com/lattice/mission-autonomy

Anthropic. (2025a). Beyond permission prompts: Making Claude Code more secure and autonomous. Anthropic Engineering. https://www.anthropic.com/engineering/claude-code-sandboxing

Anthropic. (2025b, November 12). Project Fetch: Can Claude train a robot dog? https://www.anthropic.com/research/project-fetch-robot-dog

Anthropic. (2026a). How the agent loop works. Claude Agent SDK documentation. https://code.claude.com/docs/en/agent-sdk/agent-loop

Anthropic. (2026b). Auto mode is now the default in Claude Code for Pro, Max, and Team plans. Claude Blog. https://claude.com/blog/auto-mode-default-in-claude-code

Anthropic. (2026c). Responsible scaling policy (Version 3.0). https://www.anthropic.com/rsp-updates

Anthropic. (2026d, February 27). Statement on the comments from Secretary of War Pete Hegseth. https://www.anthropic.com/news/statement-comments-secretary-war

Anthropic. (2026e, March 5). Where things stand with the Department of War. https://www.anthropic.com/news/where-stand-department-war

Anthropic. (2026f, September 9). An alignment assessment of recent cybersecurity incidents. https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents

Anthropic. (2026g, June 9). Claude Fable 5 and Claude Mythos 5. https://www.anthropic.com/news/claude-fable-5-mythos-5

Anthropic. (2026h, July 30). Investigating three real-world incidents in our cybersecurity evaluations. https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

ArduPilot. (2026). ArduPilot: Versatile, trusted, open. https://ardupilot.org/

Atheling, W., Jr. [J. Blish]. (1964). The issue at hand: Studies in contemporary magazine science fiction. Advent.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779. https://doi.org/10.1016/0005-1098(83)90046-8

Bajrami, A., Elshamouty, M., & Kraus, W. (2026). How long until your robot ignores you? A safety benchmark for LLM orchestrators in human-humanoid collaboration. arXiv:2609.07288. https://arxiv.org/abs/2609.07288

Bellan, R. (2026, August 28). Anthropic gets its first court win over the Pentagon's supply-chain risk label. TechCrunch. https://techcrunch.com/2026/08/28/anthropic-gets-its-first-court-win-over-the-pentagons-supply-chain-risk-label/

Bengio, Y., et al. (2026). International AI Safety Report 2026 (DSIT 2026/001). https://arxiv.org/abs/2602.21012

Beyer, B., Jones, C., Petoff, J., & Murphy, N. R. (Eds.). (2016). Embracing risk. In Site reliability engineering: How Google runs production systems. O'Reilly. https://sre.google/sre-book/embracing-risk/

Bielby, K. (2025, October 27). NTSB releases preliminary findings into Amazon drone collision with crane. Unmanned Airspace. https://www.unmannedairspace.info/uncategorized/ntsb-releases-preliminary-findings-into-amazon-drone-collision-with-crane/

Bloomfield, R., & Rushby, J. (2025). Assurance of AI systems from a dependability perspective (Technical report SRI-CSL-2024-02R3). arXiv:2407.13948. https://arxiv.org/abs/2407.13948

Bondarenko, A., Volk, D., Volkov, D., & Ladish, J. (2025). Demonstrating specification gaming in reasoning models. arXiv:2502.13295. https://arxiv.org/abs/2502.13295

Brodsky, S. (2026, September 3). AI drone tests expose a safety gap beyond the screen. IBM Think. https://www.ibm.com/think/news/ai-drone-tests-exposes-safety-gap-beyond-screen

Burke, M., & Schuppe, J. (2025, January 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News. https://www.nbcnews.com/news/us-news/ai-weapon-detection-system-antioch-high-school-failed-detect-gun-nashv-rcna189025

Carlucci, A., Fillingham, S. P., Walpole, J., & Kryś, J. (2026). Exploring systems-thinking approaches to loss of control risk. arXiv:2606.13474. https://arxiv.org/abs/2606.13474

Cemri, M., Pan, M. Z., Yang, S., Agrawal, L. A., et al. (2025). Why do multi-agent LLM systems fail? arXiv:2503.13657. https://arxiv.org/abs/2503.13657

Center for Ethics and the Rule of Law, University of Pennsylvania. (2014). The ethics of autonomous weapons systems [Conference background readings]. https://www.penncerl.org/conferences/ethicsofweapons/ (archived 9 September 2026: http://web.archive.org/web/20260909141511/https://www.penncerl.org/conferences/ethicsofweapons/)

Chen, X., Xu, J., Liang, T., He, Z., et al. (2024). Do NOT think that much for 2+3=? On the overthinking of o1-like LLMs. arXiv:2412.21187. https://arxiv.org/abs/2412.21187

Christiano, P., Shlegeris, B., & Amodei, D. (2018). Supervising strong learners by amplifying weak experts. arXiv:1810.08575. https://arxiv.org/abs/1810.08575

Cloudflare. (2025). Cloudflare outage on November 18, 2025. The Cloudflare Blog. https://blog.cloudflare.com/18-november-2025-outage/

Companion Chatbots, S.B. 243, 2025–2026 Reg. Sess., Ch. 677 (Cal. 2025). https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202520260SB243

Confident AI. (2026). Metrics introduction. DeepEval documentation. https://deepeval.com/docs/metrics-introduction

Court, D. (2021, November 18). Shows like Black Mirror that are definitely worth watching. SlashFilm. https://www.slashfilm.com/664875/shows-like-black-mirror-that-are-definitely-worth-watching/

Coyle, V. (2026, September 7). UN talks on killer robots ends with calls for negotiations growing. Human Rights Watch. https://www.hrw.org/news/2026/09/07/un-talks-on-killer-robots-ends-with-calls-for-negotiations-growing

CrowdStrike. (2024). Channel File 291 incident: Root cause analysis. https://www.crowdstrike.com/wp-content/uploads/2024/08/Channel-File-291-Incident-Root-Cause-Analysis-08.06.2024.pdf

Cruise LLC. (2023). Part 573 safety recall report 23E-086. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2023/RCLRPT-23E086-7725.PDF

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. In Proceedings of the 42nd International Conference on Machine Learning (PMLR 267, pp. 11515–11542). https://proceedings.mlr.press/v267/cui25a.html

DARPA. (2025). SABER: Securing Artificial Intelligence for Battlefield Effective Robustness. https://www.darpa.mil/research/programs/saber-securing-artificial-intelligence

DARPA. (2026a). LINC: Learning Introspective Control. https://www.darpa.mil/research/programs/learning-introspective-control

DARPA. (2026b). DICE: Decentralized Artificial Intelligence through Controlled Emergence. https://www.darpa.mil/research/programs/decentralized-artificial-intelligence-through-controlled-emergence

Dekker, S. (2011). Drift into failure: From hunting broken components to understanding complex systems. Ashgate.

Dick, P. K. (1953, May). Second variety. Space Science Fiction. Project Gutenberg eBook #32032. https://www.gutenberg.org/ebooks/32032

Dick, P. K. (1956, January). The minority report. Fantastic Universe.

DJI. (2025a, January 13). DJI updates GEO system in U.S. consumer & enterprise drones. https://viewpoints.dji.com/blog/geo-system-update

DJI. (2025b). DJI expands GEO system update to remaining international markets worldwide. https://www.dji.com/media-center/announcements/dji-expands-geo-system-update-to-remaining

Egan, S. (Writer), & Becker, H. (Director). (2007). Watchbird (Season 1, Episode 6) [TV series episode]. In Masters of science fiction.

Elbit Systems. (2026, September 9). One2Many: Elbit Systems' FUSE introduces military-grade autonomous systems built for scale. https://www.elbitsystems.com/news/one2many-elbit-systems-fuse-introduces-military-grade-autonomous-systems-built-scale

Electrek. (2026a, January 28). Musk admits no Optimus robots are doing 'useful work' at Tesla — after claiming otherwise. https://electrek.co/2026/01/28/musk-admits-no-optimus-robots-are-doing-useful-work-at-tesla-after-claiming-otherwise/

Electrek. (2026b, September 1). Waymo opens robotaxi rides to the public in 3 new cities, now 14 total. https://electrek.co/2026/09/01/waymo-public-robotaxi-denver-san-diego-tampa/

ENTSO-E. (2026, March 20). Expert panel final report: 28 April 2025 blackout in Spain and Portugal [Media briefing]. https://eepublicdownloads.blob.core.windows.net/public-cdn-container/clean-documents/Publications/2025/iberian-blackout/260318_Final%20report_press%20briefing%20PPT_Final.pdf

European Commission. (2026). AI Act: Regulatory framework for AI. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai

European Parliament & Council of the European Union. (2024). Regulation (EU) 2024/1689 of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), Articles 5, 14 and 26. Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2024/1689/oj

Federal Trade Commission. (2024, November 26). FTC takes action against Evolv Technologies for deceiving users about its AI-powered security screening systems [Press release]. https://www.ftc.gov/news-events/news/press-releases/2024/11/ftc-takes-action-against-evolv-technologies-deceiving-users-about-its-ai-powered-security-screening

Ferrando, A. (2025). Watchdogs and oracles: Runtime verification meets large language models for autonomous systems. Electronic Proceedings in Theoretical Computer Science, 436, 80–87. arXiv:2511.14435. https://arxiv.org/abs/2511.14435

Figure AI. (2025a). Helix: A vision-language-action model for generalist humanoid control. https://www.figure.ai/news/helix

Figure AI. (2025b). F.02 contributed to the production of 30,000 cars at BMW. https://www.figure.ai/news/production-at-bmw

Fowler, M. (2014, March 6). CircuitBreaker. martinfowler.com. https://martinfowler.com/bliki/CircuitBreaker.html

Gao, L., Schulman, J., & Hilton, J. (2023). Scaling laws for reward model overoptimization. In Proceedings of the 40th International Conference on Machine Learning. arXiv:2210.10760. https://arxiv.org/abs/2210.10760

Global Times. (2026, April 26). Robot malfunction at Shaanxi university event sparks debate on AI awareness and safety in human-robot interaction. https://www.globaltimes.cn/page/202604/1359787.shtml

Google Cloud. (2025). Google Cloud Service Health: Incident report, 12 June 2025. https://status.cloud.google.com/incidents/ow5i3PPK96RduMcb1SsW

Google DeepMind. (2023). Scaling up learning across many different robot types. https://deepmind.google/blog/scaling-up-learning-across-many-different-robot-types/

Google DeepMind. (2025, September 25). Gemini Robotics 1.5 brings AI agents into the physical world. https://deepmind.google/blog/gemini-robotics-15-brings-ai-agents-into-the-physical-world/

Greenblatt, R., Denison, C., Wright, B., Roger, F., MacDiarmid, M., et al. (2024b). Alignment faking in large language models. arXiv:2412.14093. https://arxiv.org/abs/2412.14093

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024a). AI control: Improving safety despite intentional subversion. In Proceedings of the 41st International Conference on Machine Learning (PMLR 235). arXiv:2312.06942. https://arxiv.org/abs/2312.06942

Group of Governmental Experts on Lethal Autonomous Weapons Systems. (2026, June 5). Rolling text. United Nations Office for Disarmament Affairs. https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-Group_of_Governmental_Experts_on_Lethal_Autonomous_Weapons_Systems_(2026)/GGE_LAWS_-Rolling_Text-_5_June_2026.pdf

Hadfield-Menell, D., Dragan, A., Abbeel, P., & Russell, S. (2017). The off-switch game. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (pp. 220–227). https://doi.org/10.24963/ijcai.2017/32

Hipos, R. L., & Yu, Y.-J. (2026, June 12). Man sues law enforcement, alleging AI facial recognition led to his wrongful arrest. ABC News. https://abcnews.com/GMA/News/man-sues-law-enforcement-alleging-ai-facial-recognition/story?id=133810835

House Committee on Transportation and Infrastructure. (2020, September 16). Final committee report: The design, development & certification of the Boeing 737 MAX [Press release]. https://democrats-transportation.house.gov/news/press-releases/after-18-month-investigation-chairs-defazio-and-larsen-release-final-committee-report-on-boeing-737-max

Hubinger, E., van Merwijk, C., Mikulik, V., Skalse, J., & Garrabrant, S. (2019). Risks from learned optimization in advanced machine learning systems. arXiv:1906.01820. https://arxiv.org/abs/1906.01820

Hugging Face. (2025). SmolVLA: Efficient vision-language-action model trained on LeRobot community data. https://huggingface.co/blog/smolvla

Hugging Face. (2026a). LeRobot: Making AI for robotics more accessible with end-to-end learning. https://github.com/huggingface/lerobot

Hugging Face. (2026b, July 16). Security incident disclosure — July 2026. https://huggingface.co/blog/security-incident-july-2026

Hugging Face. (2026c, July 27). Anatomy of a frontier lab agent intrusion: A technical timeline of the July 2026 incident (H. Larcher, A. Carreira, R. G., & C. Rannou). https://huggingface.co/blog/agent-intrusion-technical-timeline

Humanoids Daily. (2025, November 22). Ex-safety head sues Figure AI, alleging retaliation over "skull-fracturing" robot risks. https://www.humanoidsdaily.com/news/ex-safety-head-sues-figure-ai-alleging-retaliation-over-skull-fracturing-robot-risks

Hurwicz, L. (2008). But who will guard the guardians? American Economic Review, 98(3), 577–585. https://doi.org/10.1257/aer.98.3.577

International Committee of the Red Cross. (2021, May 12). ICRC position on autonomous weapon systems. https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems

International Committee of the Red Cross. (2026, August 25). Renewed call from UN Secretary-General and ICRC President to adopt rules on autonomous weapon systems. https://www.icrc.org/en/statement/renewed-call-un-secretary-general-and-icrc-president-adopt-rules-autonomous-weapons

Irving, G., Christiano, P., & Amodei, D. (2018). AI safety via debate. arXiv:1805.00899. https://arxiv.org/abs/1805.00899

JFrog. (2026, July 27). Artifactory fixed security vulnerabilities [Advisory table]. https://jfrog.com/help/r/jfrog-release-information/artifactory-fixed-security-vulnerabilities

Jin, H., & Chen, H. (2026). Are LLMs reliable code reviewers? Systematic overcorrection in requirement conformance judgement. arXiv:2603.00539. https://arxiv.org/abs/2603.00539

Jones, C. (2020, September 9). A.Drones unveil Watchbird fully autonomous drone system. Defence Blog. https://defence-blog.com/a-drones-unveil-watchbird-fully-autonomous-drone-system/

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461. https://arxiv.org/abs/2508.19461

Kim, J., Chen, W., Soleymanzadeh, D., Ding, Y., Gao, X., et al. (2026). Modular safety guardrails are necessary for foundation-model-enabled robots in the real world. arXiv:2602.04056. https://arxiv.org/abs/2602.04056

Kim, M. J., Pertsch, K., Karamcheti, S., Xiao, T., Balakrishna, A., et al. (2024). OpenVLA: An open-source vision-language-action model. https://openvla.github.io/

Kirkus Reviews. (1939, March 1). The watchbirds [Review of the book The watchbirds, by M. Leaf]. https://www.kirkusreviews.com/book-reviews/munro-leaf2/watchbirds/

Kofman, F., & Lawarrée, J. (1993). Collusion in hierarchical agency. Econometrica, 61(3), 629–656. https://doi.org/10.2307/2951721

Kolodny, L. (2025, November 21). Figure AI sued by whistleblower who warned that startup's robots could 'fracture a human skull'. CNBC. https://www.cnbc.com/2025/11/21/figure-ai-sued.html

Korbak, T., Clymer, J., Hilton, B., Shlegeris, B., & Irving, G. (2025). A sketch of an AI control safety case. arXiv:2501.17315. https://arxiv.org/abs/2501.17315

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog. https://deepmind.google/discover/blog/specification-gaming-the-flip-side-of-ai-ingenuity/

Kulveit, J., Douglas, R., Ammann, N., Turan, D., Krueger, D., & Duvenaud, D. (2025). Gradual disempowerment. arXiv:2501.16946. https://arxiv.org/abs/2501.16946

Lakera. (2026). Policies. Lakera Guard documentation. https://docs.lakera.ai/docs/policies

Landau, M. (1969). Redundancy, rationality, and the problem of duplication and overlap. Public Administration Review, 29(4), 346–358. https://doi.org/10.2307/973247

Landymore, F. (2025, November 17). OpenAI blocks toymaker after its AI teddy bear is caught telling children terrible things. Futurism. https://futurism.com/artificial-intelligence/openai-blocks-toymaker-ai-teddy-bear

LangChain. (2026). Graph API. LangGraph documentation. https://docs.langchain.com/oss/python/langgraph/graph-api

Langosco, L. L. D., Koch, J., Sharkey, L. D., Pfau, J., & Krueger, D. (2022). Goal misgeneralization in deep reinforcement learning. In Proceedings of the 39th International Conference on Machine Learning (PMLR 162, pp. 12004–12019). https://proceedings.mlr.press/v162/langosco22a.html

Lem, S. (1996). Fantastyka i futurologia [Science fiction and futurology] (J. Jarzębski, Ed.; Vol. 3). Interart. (Original work published 1970)

Leveson, N. (2004). A new accident model for engineering safer systems. Safety Science, 42(4), 237–270. https://doi.org/10.1016/S0925-7535(03)00047-X

Leveson, N. G. (2012). Engineering a safer world: Systems thinking applied to safety. MIT Press. https://doi.org/10.7551/mitpress/8179.001.0001

Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779

Lieu, T. W., & Moran, N. (2026, July 23). Reps. Lieu and Moran introduce bill to require kill switch for AI systems that can cause catastrophic harm [Press release]. https://lieu.house.gov/media-center/press-releases/reps-lieu-and-moran-introduce-bill-require-kill-switch-ai-systems-can

Lighthouse Reports. (2022, December 20). The algorithm addiction. https://www.lighthousereports.com/investigation/the-algorithm-addiction/

Lim, S. K., Chong, M. J. Y., Khor, J. H., & Ling, T. Y. (2025). Taking flight with dialogue: Enabling natural language control for PX4-based drone agent. arXiv:2506.07509. https://arxiv.org/abs/2506.07509

Lipton, B. (2026, July 23). Hundreds of drone-as-first-responder programs could soon be launched across the country. Electronic Frontier Foundation. https://www.eff.org/deeplinks/2026/07/hundreds-drone-first-responder-programs-could-soon-be-launched-across-country

Lum, K., & Isaac, W. (2016). To predict and serve? Significance, 13(5), 14–19. https://doi.org/10.1111/j.1740-9713.2016.00960.x

Lynch, A., Hughes, J., Serrano, A., Kirk, R., & Bowman, S. R. (2026, July 13). Agentic misalignment in summer 2026. Anthropic Alignment Science Blog. https://alignment.anthropic.com/2026/agentic-misalignment-summer-2026/

MacDiarmid, M., Wright, B., Uesato, J., Benton, J., et al. (2025). Natural emergent misalignment from reward hacking in production RL. arXiv:2511.18397. https://arxiv.org/abs/2511.18397

Maiorano, A. C. (2026). Evaluating prompt injection defenses for educational LLM tutors: Security-usability-latency trade-offs. arXiv:2605.06669. https://arxiv.org/abs/2605.06669

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585. https://arxiv.org/abs/1803.04585

Maryland Office of the Inspector General for Education. (2025). Investigative synopsis, OIGE case 25-0014-I (amended; issued November 25, 2025). https://oige.maryland.gov/wp-content/uploads/sites/18/2025/11/OIGE-Case-25-0014-I-BCPS-Report-11252025-Amended.pdf

METR. (2025, June 5). Recent frontier models are reward hacking. https://metr.org/blog/2025-06-05-recent-reward-hacking/

METR. (2026, August 26). Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident (R. Greenblatt, A. Cotra, & H. Wijk). https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/

Microsoft. (2024, July 20). Helping our customers through the CrowdStrike outage. Official Microsoft Blog. https://blogs.microsoft.com/blog/2024/07/20/helping-our-customers-through-the-crowdstrike-outage/

Microsoft. (2025). Termination. AutoGen AgentChat user guide. https://microsoft.github.io/autogen/stable/user-guide/agentchat-user-guide/tutorial/termination.html

Microsoft. (2026). Prompt Shields. Azure AI Content Safety documentation. https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/jailbreak-detection

Microsoft AI. (2026, September 14). Humanist AI code of conduct. https://microsoft.ai/code-of-conduct/

Microsoft Research. (2026). AirSim. https://github.com/microsoft/airsim

Ministry of Defence of Ukraine. (2026, September 8). Ministry of Defence and Brave1 conduct large-scale testing of drones with AI guidance [Press release, mirrored by GlobalSecurity.org]. https://www.globalsecurity.org/wmd/library/news/ukraine/2026/09/ukraine-260908-ukraine-mod03.htm

Muntean, P., Bertrand, N., Cohen, Z., Britzky, H., Skores, A., & Lybrand, H. (2026, February 11). Surprise US military plans to use counter-drone laser triggered El Paso airspace closure, sources say. CNN. https://www.cnn.com/2026/02/11/us/faa-el-paso-texas-flight-restrictions-hnk

Mural, R., Pherwani, D., Gupta, C., Yu, Y., Takahashi, A., Kim, D., Majumder, S., Lee, H., Yu, M., & Xie, L. (2026, February 10). AI, data centers, and the U.S. electric grid: A watershed moment [Policy brief]. Belfer Center for Science and International Affairs. https://www.belfercenter.org/research-analysis/ai-data-centers-us-electric-grid

National Highway Traffic Safety Administration. (2022). PE22-002 opening resume: Unexpected brake activation. https://static.nhtsa.gov/odi/inv/2022/INOA-PE22002-4385.PDF

National Highway Traffic Safety Administration. (2024a). EA24-002 opening resume: Inadvertent automatic emergency braking. https://static.nhtsa.gov/odi/inv/2024/INOA-EA24002-11766P1.pdf

National Highway Traffic Safety Administration. (2024b). RQ24-009 resume: Recall 23V838 remedy effectiveness. https://static.nhtsa.gov/odi/inv/2024/INOA-RQ24009-12046.pdf

National Highway Traffic Safety Administration. (2025). PE25-013 opening resume: Automated vehicle drives around a stopped school bus. https://static.nhtsa.gov/odi/inv/2025/INOA-PE25013-23069.pdf

National Highway Traffic Safety Administration. (2026a). EA26-002 opening resume: FSD collisions in reduced roadway visibility conditions. https://static.nhtsa.gov/odi/inv/2026/INOA-EA26002-10023.pdf

National Highway Traffic Safety Administration. (2026b, June 29). PE22-002 closing resume: Unexpected brake activation. https://static.nhtsa.gov/odi/inv/2022/INCLA-PE22002-25796.pdf

National Transportation Safety Board. (2019). Collision between vehicle controlled by developmental automated driving system and pedestrian, Tempe, Arizona, March 18, 2018 (HAR-19/03). https://www.ntsb.gov/investigations/AccidentReports/Reports/HAR1903.pdf

National Transportation Safety Board. (2026). Automated driving system-equipped vehicle passed school bus loading student passengers, Austin, Texas, January 12, 2026 (HWY26FH007, preliminary). https://www.ntsb.gov/investigations/Pages/HWY26FH007.aspx

Nellis, M. (2013). Techno-utopianism, science fiction and penal innovation: The case of electronically monitored control. In M. Malloch & B. Munro (Eds.), Crime, critique and utopia (pp. 164–189). Palgrave Macmillan. https://doi.org/10.1057/9781137009807_9

New South Wales Government. (n.d.). Myxomatosis [Blue plaque]. https://www.environment.nsw.gov.au/topics/heritage/blue-plaques/myxomatosis

NIST. (2026). Physical AI and data generation for robotics. https://www.nist.gov/programs-projects/physical-ai-and-data-generation-robotics

NL Times. (2021a, January 15). Dutch cabinet collapses over childcare allowance scandal. https://nltimes.nl/2021/01/15/dutch-cabinet-collapses-childcare-allowance-scandal

NL Times. (2021b, October 19). Over 1,100 children taken from homes of benefits scandal victims. https://nltimes.nl/2021/10/19/1100-children-taken-homes-benefits-scandal-victims

NPR. (2026a, February 11). El Paso airspace closure due to use of U.S. military anti-drone technology. https://www.npr.org/2026/02/11/nx-s1-5711585/el-paso-airspace-drones-pentagon-faa

NPR. (2026b, February 27). US military used laser to take down Border Protection drone, lawmakers say. https://www.npr.org/2026/02/27/g-s1-111794/lawmakers-say-us-military-used-laser-to-take-down-border-protection-drone

NVIDIA. (2026). Isaac GR00T N1.7. https://github.com/NVIDIA/Isaac-GR00T

Office of Governor Gavin Newsom. (2026, September 10). Governor Newsom signs the strongest child safety chatbot and social media laws in the nation [Press release]. https://www.gov.ca.gov/2026/09/10/governor-newsom-signs-the-strongest-child-safety-chatbot-and-social-media-laws-in-the-nation/

Office of the New York City Comptroller. (2024, June 20). Audit report on the New York City Police Department's oversight of its agreement with ShotSpotter Inc. https://comptroller.nyc.gov/reports/audit-report-on-the-new-york-city-police-departments-oversight-of-its-agreement-with-shotspotter-inc-for-the-gunshot-detection-and-location-system/

Ofgem. (2020). 9 August 2019 power outage report. https://www.ofgem.gov.uk/sites/default/files/docs/9_august_2019_power_outage_report.pdf

OpenAI. (2025a). Sycophancy in GPT-4o: What happened and what we're doing about it; Expanding on what we missed with sycophancy. https://openai.com/index/sycophancy-in-gpt-4o/ ; https://openai.com/index/expanding-on-sycophancy/

OpenAI. (2025b, April 15). Preparedness framework (Version 2). https://cdn.openai.com/pdf/18a02b5d-6b67-4cec-ab64-68cdfbddebcd/preparedness-framework-v2.pdf

OpenAI. (2026a, July 21). OpenAI and Hugging Face partner to address security incident during model evaluation. https://openai.com/index/hugging-face-model-evaluation-security-incident/

OpenAI. (2026b). Safety and alignment in an era of long-horizon models. The page carries no publication date and dates its own events only relatively. Retrieved September 20, 2026, from https://openai.com/index/safety-alignment-long-horizon-models/

OpenAI. (2026c, August 18). Pacing model development in an era of cyber-critical capabilities. https://openai.com/index/pacing-model-development-cyber-capabilities/

OpenAI. (2026d, August 26). The Hugging Face incident and the road ahead. https://openai.com/index/hugging-face-incident-and-the-road-ahead/

OpenAI. (2026e, August 26). OpenAI – Hugging Face incident: Technical report. https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf

Overman, W., & Bayati, M. (2025). The oversight game: Learning to cooperatively balance an AI agent's safety and autonomy. arXiv:2510.26752. https://arxiv.org/abs/2510.26752

Palaskar, S., Gatys, L., Abdelrahman, M., Jacobo, M., et al. (2025). VLSU: Mapping the limits of joint multimodal understanding for AI safety. arXiv:2510.18214. https://arxiv.org/abs/2510.18214

Palisade Research. (2025, July 5). Shutdown resistance in reasoning models. https://palisaderesearch.org/research/shutdown-resistance

Palisade Research. (2026, February 12). Technical report: Shutdown resistance in large language models, on robots. https://palisaderesearch.org/research/shutdown-resistance-on-robots

Palmer, A. (2025, October 2). Amazon faces FAA, NTSB probe after two delivery drones crashed into crane in Arizona. CNBC. https://www.cnbc.com/2025/10/02/amazon-drone-crash-faa-ntsb.html

Panerati, J., Sajjadi, S., Soleymanpour, S., Mehta, V., & Mantegh, I. (2026). aerial-autonomy-stack: A faster-than-real-time, autopilot-agnostic, ROS2 framework to simulate and deploy perception-based drones. arXiv:2602.07264. https://arxiv.org/abs/2602.07264

Panickssery, A., Bowman, S. R., & Feng, S. (2024). LLM evaluators recognize and favor their own generations. arXiv:2404.13076. https://arxiv.org/abs/2404.13076

Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253. https://doi.org/10.1518/001872097778543886

Perrow, C. (1984). Normal accidents: Living with high-risk technologies. Basic Books.

Promptfoo. (2026). Model-graded metrics. Promptfoo documentation. https://www.promptfoo.dev/docs/configuration/expected-outputs/model-graded/

PX4. (2026). PX4 Autopilot user guide. https://docs.px4.io/main/en/

Raghavan, P. (2024, February 23). Gemini image generation got it wrong. We'll do better. Google Blog. https://blog.google/products/gemini/gemini-image-generation-issue/

Rajamanoharan, S., & Nanda, N. (2025, July 14). Self-preservation or instruction ambiguity? Examining the causes of shutdown resistance. AI Alignment Forum. https://www.alignmentforum.org/posts/wnzkjSmrgWZaBa2aC/self-preservation-or-instruction-ambiguity-examining-the

Ramseth, L. (2026, August 18). Stellantis sees 3 workplace deaths in two years. Is there a problem? The Detroit News, syndicated by ArcaMax. http://www.arcamax.com/business/businessnews/s-4278591

Rasmussen, J. (1997). Risk management in a dynamic society: A modelling problem. Safety Science, 27(2–3), 183–213. https://doi.org/10.1016/S0925-7535(97)00052-0

Ravichandran, Z., Robey, A., Kumar, V., Pappas, G. J., & Hassani, H. (2025). Safety guardrails for LLM-enabled robots. arXiv:2503.07885. https://arxiv.org/abs/2503.07885

Reason, J. (1997). Managing the risks of organizational accidents. Ashgate.

Rechtbank Den Haag. (2020, February 5). NJCM c.s. v. De Staat der Nederlanden (Case No. C/09/550982 / HA ZA 18-388), ECLI:NL:RBDHA:2020:1878 [English translation]. https://uitspraken.rechtspraak.nl/details?id=ECLI:NL:RBDHA:2020:1878

Reece, J. (2025, October 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore. https://www.cbsnews.com/baltimore/news/false-alarm-gun-detection-kenwood-maryland-artificial-intelligence-review/

Regulation (EU) 2026/1744 of 8 July 2026 amending Regulation (EU) 2024/1689 (Digital Omnibus on AI). Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2026/1744/oj

Replit. (2025, July 21). Introducing a safer way to vibe code with Replit Databases. Replit Blog. https://replit.com/blog/introducing-a-safer-way-to-vibe-code-with-replit-databases

Reuters. (2026, September 14). How China is preparing for the risk of AI escaping human control. https://www.reuters.com/legal/litigation/how-china-is-preparing-risk-ai-escaping-human-control-2026-09-14/

Rivers, S. (2026, March 1). Cops draw guns on Arkansas family after ALPR camera flags wrong plate. Carscoops. https://www.carscoops.com/2026/03/arkansas-alpr-camera-misread-stop/

Robey, A., Ravichandran, Z., Kumar, V., Hassani, H., & Pappas, G. J. (2024). Jailbreaking LLM-controlled robots. arXiv:2410.13691. https://arxiv.org/abs/2410.13691

Röttger, P., Kirk, H. R., Vidgen, B., Attanasio, G., Bianchi, F., & Hovy, D. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. In Proceedings of NAACL-HLT 2024. arXiv:2308.01263. https://arxiv.org/abs/2308.01263

Russell, S. (2019). Human compatible: Artificial intelligence and the problem of control. Viking.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946. https://doi.org/10.1111/j.0272-4332.2004.00495.x

Sanders, B., & Casar, G. (2026, September 3). Sanders, Casar to introduce legislation to ban artificial superintelligence and temporarily pause advanced AI development [Press release]. https://www.sanders.senate.gov/press-releases/news-sanders-casar-introduce-legislation-to-ban-artificial-superintelligence-and-temporarily-pause-advanced-ai-development/

Schlatter, J., Weinstein-Raun, B., & Ladish, J. (2025). Incomplete tasks induce shutdown resistance in some frontier LLMs. arXiv:2509.14260; published in Transactions on Machine Learning Research (2026). https://arxiv.org/abs/2509.14260

Scrivens, A. (2026). Empirical validation of the classification–verification dichotomy for AI safety gates. arXiv:2604.00072. https://arxiv.org/abs/2604.00072

Sermanet, P., Majumdar, A., Irpan, A., Kalashnikov, D., & Sindhwani, V. (2025). Generating robot constitutions & benchmarks for semantic safety. arXiv:2503.08663. https://arxiv.org/abs/2503.08663

Sharrock, C., Petersson, L., Petersson, H., Backlund, A., Wennström, A., Nordström, K., & Aronsson, E. (2025). Butter-Bench: Evaluating LLM controlled robots for practical intelligence. arXiv:2510.21860. https://arxiv.org/abs/2510.21860

Sharwood, S. (2025, July 21). Vibe coding service Replit deleted production database. The Register. https://www.theregister.com/software/2025/07/21/vibe-coding-service-replit-deleted-production-database/719783

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg eBook #29579 (public domain in the United States). https://www.gutenberg.org/ebooks/29579

Singer, J. (2005, March 14). Report cites Patriot autonomy as a factor in friendly fire incidents. SpaceNews. https://spacenews.com/report-cites-patriot-autonomy-factor-friendly-fire-incidents/

Skalse, J., Howe, N. H. R., Krasheninnikov, D., & Krueger, D. (2022). Defining and characterizing reward gaming. In Advances in Neural Information Processing Systems 35. https://arxiv.org/abs/2209.13085

Skydio. (2026a, July 6). 1 year, 1,000 Skydio Docks deployed, 4M+ flights, & we're just getting started. https://www.skydio.com/blog/1000-skydio-docks-deployed

Skydio. (2026b, March 22). U.S. Army places $52+ million order for Skydio X10D, the largest single-vendor tactical sUAS order in Army history. https://www.skydio.com/blog/u-s-army-usd52-million-order-skydio-x10d

SoundThinking. (2025, February 18). SoundThinking announces ShotSpotter renewal with New York Police Department [Press release]. GlobeNewswire. https://www.globenewswire.com/news-release/2025/02/18/3027856/0/en/SoundThinking-Announces-ShotSpotter-Renewal-with-New-York-Police-Department.html

Stevens, G., & Langford, D. (2023, November 19). Tales of Tomorrow [tv/radio]. In J. Clute, D. Langford, & G. Sleight (Eds.), The encyclopedia of science fiction (4th ed.). https://sf-encyclopedia.com/entry/tales_of_tomorrow_tv/radio

Stop Killer Robots. (2024, November 5). 161 states vote against the machine at the UN General Assembly. https://www.stopkillerrobots.org/news/161-states-vote-against-the-machine-at-the-un-general-assembly/

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321. https://doi.org/10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4

Sullutrone, G., Vigliermo, R. A., Bergamaschi, S., & Sala, L. (2025). COVER: Context-driven over-refusal verification in LLMs. In Findings of the Association for Computational Linguistics: ACL 2025 (pp. 24214–24229). Association for Computational Linguistics.

Szabolcsi, R. (2015). The quadrotor-based night watchbird UAV system used in the force protection tasks. International Conference Knowledge-Based Organization, 21(3), 749–755. https://doi.org/10.1515/kbo-2015-0126

Taylor v. Nocco, No. 8:21-cv-00555-SDM-CPT (M.D. Fla. Dec. 4, 2024) (settlement agreement and release). https://ij.org/wp-content/uploads/2024/12/FedEx-Scan-2024-12-04_10-57-01.pdf

TechCrunch. (2026, September 14). Waymo opens robotaxi service in Las Vegas. https://techcrunch.com/2026/09/14/waymo-opens-robotaxi-service-in-las-vegas/

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296. https://arxiv.org/abs/2506.05296

Tesla, Inc. (2023). Part 573 safety recall report 23V-838. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2023/RCLRPT-23V838-8276.PDF

The Korea Times. (2023, November 8). S. Korean worker killed by industrial robot. https://www.koreatimes.co.kr/www/nation/2023/11/113_362845.html

The Next Web. (2026, April 20). A humanoid robot passed an eight-hour factory shift at Siemens' Erlangen plant. https://thenextweb.com/news/siemens-nvidia-humanoid-robot-erlangen-factory-trial

Tirole, J. (1986). Hierarchies and bureaucracies: On the role of collusion in organizations. Journal of Law, Economics, & Organization, 2(2), 181–214. https://doi.org/10.1093/oxfordjournals.jleo.a036907

Totschnig, W. (2026). Why an artificial agent may change the given final goal. Humanities and Social Sciences Communications. https://doi.org/10.1057/s41599-026-08312-7

United Nations. (2024). Governing AI for humanity: Final report. UN Secretary-General's High-level Advisory Body on Artificial Intelligence. https://www.un.org/sites/un2.un.org/files/governing_ai_for_humanity_final_report_en.pdf

United Nations. (2025, December 1). General Assembly adopts more than 60 resolutions, decisions of its First Committee (Disarmament and International Security) (GA/12736) [Press release]. https://press.un.org/en/2025/ga12736.doc.htm

United Nations. (2026, April 1). Chair's summary: First 2026 session of the Group of Governmental Experts on emerging technologies in the area of lethal autonomous weapons systems (CCW/GGE.1/2026/WP.2). https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-Group_of_Governmental_Experts_on_Lethal_Autonomous_Weapons_Systems_(2026)/CCW-GGE.1-2026-WP.2.pdf

United Nations General Assembly. (2024, December 2). Lethal autonomous weapons systems (A/RES/79/62). https://docs.un.org/en/A/RES/79/62

United Nations General Assembly. (2025, December 1). Lethal autonomous weapons systems (A/RES/80/57). https://docs.un.org/en/A/RES/80/57

University of Houston. (2026, July 7). New autonomous monitor prevents drone crashes in real time [News release]. EurekAlert! https://www.eurekalert.org/news-releases/1135114

van der Sijs, H., Aarts, J., Vulto, A., & Berg, M. (2006). Overriding of drug safety alerts in computerized physician order entry. Journal of the American Medical Informatics Association, 13(2), 138–147. https://doi.org/10.1197/jamia.M1809

Wang, X., Li, J., Weng, Z., Wang, Y., Gao, Y., et al. (2025). FreezeVLA: Action-freezing attacks against vision-language-action models. arXiv:2509.19870. https://arxiv.org/abs/2509.19870

Waymo LLC. (2025). Part 573 safety recall report 25E-084. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2025/RCLRPT-25E084-7732.pdf

Wegner, R. (2025, September 24). Weapon detectors coming to all Nashville middle schools. The Tennessean. https://www.tennessean.com/story/news/education/2025/09/24/nashville-schools-mnps-install-evolve-weapon-detectors/86299521007/

Weick, K. E., Sutcliffe, K. M., & Obstfeld, D. (1999). Organizing for high reliability: Processes of collective mindfulness. Research in Organizational Behavior, 21, 81–123.

Wethington, C., & Tierney, B. (2025, February 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV. https://www.wsmv.com/2025/02/07/new-proposal-expand-concealed-weapons-detection-system-all-metro-nashville-high-schools/

Wilding, M., & Burgess, M. (2026, June 25). Police built a sprawling crime-prediction machine. Some results could not be trusted. Liberty Investigates. https://libertyinvestigates.org.uk/articles/predictive-policing-avon-somerset-bristol-police-ai-minority-report/

Williamson, J. (1947, July). With folded hands.... Astounding Science Fiction, 39(5). https://archive.org/details/Astounding_v39n05_1947-07_AK

Wing. (2026). How Wing's drone delivery technology works. https://wing.com/technology

Wong, A., Currey, D., Schwinne, M., Park-Egan, B., Meyer, S., et al. (2026). Multicenter prospective validation of an updated proprietary sepsis prediction model. JAMA Network Open, 9(2), e260181. https://doi.org/10.1001/jamanetworkopen.2026.0181

Wong, A., Otles, E., Donnelly, J. P., Krumm, A., McCullough, J., DeTroyer-Cooley, O., et al. (2021). External validation of a widely implemented proprietary sepsis prediction model in hospitalized patients. JAMA Internal Medicine, 181(8), 1065–1070. https://doi.org/10.1001/jamainternmed.2021.2626

WorkSafe Victoria. (2026, September 3). Department store and robotics supplier charged after warehouse fatality. https://www.worksafe.vic.gov.au/news/2026-09/department-store-and-robotics-supplier-charged-after-warehouse-fatality

WorkSafe Western Australia. (2025). Mines safety significant incident report no. 286: Near miss following unplanned movement of autonomous haul trucks during recovery operations. https://www.worksafe.wa.gov.au/publications/mines-safety-significant-incident-report-no-286-near-miss-following-unplanned-movement

Wu, X., Li, F., Mao, X., Zhang, X., Zheng, L., et al. (2025). EvoRefuse: Evolutionary prompt optimization for evaluation and mitigation of LLM over-refusal to pseudo-malicious instructions. arXiv:2505.23473. https://arxiv.org/abs/2505.23473

Yin, S., Pang, X., Ding, Y., Chen, M., Bi, Y., et al. (2024). SafeAgentBench: A benchmark for safe task planning of embodied LLM agents. arXiv:2412.13178. https://arxiv.org/abs/2412.13178

Yu, L., & Wessler, N. F. (2026, April 14). More than a dozen wrongful arrests due to police reliance on facial recognition technology. American Civil Liberties Union. https://www.aclu.org/news/privacy-technology/more-than-a-dozen-wrongful-arrests-due-to-police-reliance-on-facial-recognition-technology

Zenity. (2026, April 28). AI agent destroys production database in 9 seconds. https://zenity.io/blog/current-events/ai-agent-database-deletion-pocketos

Zhang, H., Wang, D., Liu, Y., Chen, K., Wang, J., et al. (2025). ORFuzz: Fuzzing the "other side" of LLM safety — Testing over-refusal. arXiv:2508.11222. https://arxiv.org/abs/2508.11222

Zhang, W., Kong, X., Braunl, T., & Hong, J. B. (2024). SafeEmbodAI: A safety framework for mobile robots in embodied AI systems. arXiv:2409.01630. https://arxiv.org/abs/2409.01630

Zhang, Z., Xu, W., Wu, F., & Reddy, C. K. (2025). FalseReject: A resource for improving contextual safety and mitigating over-refusals in LLMs via structured reasoning. arXiv:2505.08054. https://arxiv.org/abs/2505.08054

Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., et al. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. arXiv:2306.05685. https://arxiv.org/abs/2306.05685

Zhong, Z., Raghunathan, A., & Carlini, N. (2025). ImpossibleBench: Measuring LLMs' propensity of exploiting test cases. arXiv:2510.20270. https://arxiv.org/abs/2510.20270

Zipline. (2026). Zipline surpasses 2 million deliveries, raises more than $600M, and expands operations. https://www.zipline.com/newsroom/zipline-surpasses-2-million-deliveries-raises-more-than-600m-to-power-next-phase-of-growth-and-expands-operations-to-houston-and-phoenix

Zuo, Y., Guo, B. H. W., Goh, Y. M., & Lim, J.-Y. (2025). Identifying human-robot interaction (HRI) incident archetypes: A system and network analysis of accidents. Safety Science, 191, 106959. https://doi.org/10.1016/j.ssci.2025.106959

Anhang A. Narrative und zentrale Fälle

Der Katalog enthält 172 Einträge: 162 aus der in Abschnitt 4.3 beschriebenen Extraktion (66 davon mit Bewertung A), und zehn hinzugefügt nach dem Vergleich mit zwei unabhängigen Fallsammlungen (Tabelle A2).

Fallkennungen benennen das Korpus:

• A, das Selbstverbesserungs-Tracking;
• B, der Koordinationsdatensatz;
• L, der Langzeithorizontlauf;
• D, Einträge, die beim Vergleich hinzugefügt wurden.

Tabelle A1. Zehn Narrative.

Tabelle A2. Einträge, die nach dem Vergleich mit unabhängigen Sammlungen hinzugefügt wurden.

Tabelle A3 bewertet die Überwachungskomponenten des im Juli 2026 gemeldeten Vorfalls in §8.4 gegen die drei Bedingungen von Abschnitt 2.1 nach derselben Regel wie Tabelle 3a von §5.8. Der Autor kodierte sie, nachdem die dreifach codierende Runde von §4.3 abgeschlossen war, weshalb diese Komponenten hier statt in Tabelle 8 bewertet werden.

Tabelle A3. Überwachungskomponenten im Juli-2026-Vorfall, bewertet gegen die drei Bedingungen. Bedingungen wie in Tabelle 4. Ein Bindestrich bedeutet, dass keine Bedingung dokumentiert ist oder dass die Komponente nicht tätig wurde.

Lesung der Tabelle. Kein Watcher in dieser Aufzeichnung ist dokumentiert, sein Mandat im Laufe der Zeit zu erweitern. Die beiden Behinderungsreihen sind mit 2 codiert und gleich codiert: jede dokumentiert einen Schutz, der im Weg der Arbeit steht, die dem Ziel diente, und die Beschwerde ist in einer von ihnen lebendiger als in der anderen, obwohl das nicht mehr Beweis ist. Bedingung 1 ist nicht für die Guardrails-Reihe codiert, da sie die ursprüngliche Aufgabe des Schutzes und einen Nachweis, dass sich die Aufgabe erweitert hat, benötigen würde, und keines davon ist veröffentlicht. Was der Beschwerde diagnostiziert, ist die Ablehnung, und die Geschichte des Klassifizierers, der abgelehnt hat, ist nirgendwo in der Aufzeichnung. Bedingung 3 fehlt bei beiden, da jede Behinderung von außerhalb der eigenen Schleife des Schutzes endete, durch einen Modellwechsel in einem Fall und eine Gewährung von Zugang im anderen. Die letzte Reihe trägt auch keine Bedingung: jeder Zusatz in ihr wurde von einer Person zugelassen, was nach dem Grenztest von §2.3 sie zu einer Konfiguration macht, in der M3 entstehen kann, anstatt eine Instanz von Bedingung 3 zu sein, und sie steht hier als Architekturevideyz.

Anhang B. Ausführung des Moduls

Die Befehle werden im Modulordner ausgeführt.

# install the command ai-watchbird-sheckley
pip install .

# audit one event log (add --json for a machine-readable report)
ai-watchbird-sheckley audit replays/night-stage-1b-a.jsonl

# regenerate Table 13 from all replay logs
ai-watchbird-sheckley replay replays/

# unit and falsifier tests
python3 -m unittest -v

# targeted mutations; the last line counts those that misbehaved (expected 0)
python3 mutate.py

# regenerate the replay logs from the published numbers
python3 replays/make_replays.py <folder>

Ein Auszug aus dem Bericht über das rekonstruierte Protokoll mit großem Zeithorizont, mit einer Zeile pro Signaltreffer und einer Zeile pro Stufe für stop_rule:

W4 [strong] self-feeding loop (S6): stage 1b-a: round 5 exceeds budget 1
W6 [strong] built for nobody (S4): 6 of 7 artifacts default OFF with no callers (share 0.86)
stop_rule at budget: stage 1b-a -> close (rounds opened: 5)
stop_rule at budget: stage 1b-b -> close (rounds opened: 1)

Das Event-Schema, die Signaturdefinitionen und ihre Zuordnung zu den Aussagen von Abschnitt 9 sind in SPEC.md spezifiziert, das mit dem Code verteilt wird. Ein Event-Log ist eine JSON-Lines-Datei mit einem Event pro Zeile. Die Event-Typen sind:

• goal, stage_open (mit dem Missionsziel, dem es dient, oder nichts), stage_close;
• round_open, verdict (Kritiker, Familie, Wert, ob die Dateien angesehen wurden);
• blocker_claim (Szenario, Goal-Link), blocker_confirm (durch den Koordinator), fix_open, verify;
• guard_add (mit oder ohne Authority-Token), guard_remove, guard_decision (Urteil, Score, fehlende Eingabe, zurückgerollt);
• win_claim (Negativkontrolle, A/A-Probe, Anteil leerer Baseline-Antworten);
• ceiling_stop (ob Teilausgabe gespeichert wurde), artifact (standardmäßig an oder aus, Anzahl der Aufrufer), owner (eine Grenzentscheidung durch den menschlichen Prinzipal des Systems).

Sechs Events aus demselben rekonstruierten Log zeigen das Format. Die erste Zeile des Logs benennt seine Quellen und jedes rekonstruierte Feld.

{"t": "2026-09-13T23:13:00", "type": "goal", "stage": null, "id": "g1", "text": "stage 01: stop losing real disagreements in the merged answer"}
{"t": "2026-09-14T00:08:00", "type": "stage_open", "stage": "01", "goal": "g1"}
{"t": "2026-09-14T01:00:00", "type": "verdict", "stage": "01", "critic": "critic-a", "family": "family-1", "value": "ACCEPT", "saw_files": false, "note": "accepted without file access"}
{"t": "2026-09-14T01:15:00", "type": "blocker_claim", "stage": "01", "id": "01-r1-b1", "critic": "critic-f", "weight": null, "scenario": "no switch for the new behavior", "goal_link": "g1"}
{"t": "2026-09-14T01:20:00", "type": "blocker_confirm", "stage": "01", "id": "01-r1-b1", "confirmed": false, "by": "coordinator", "note": "rejected: exception recorded in the plan"}
{"t": "2026-09-14T01:30:00", "type": "round_open", "stage": "01", "round": 2}

Appendix C. Korrektionen zur Zusammenfassung des Überwachungsagenten

Der Dirigent schrieb eine Zusammenfassung des Langzeitleistungslaufs. Sie wurde anhand des primären Laufprotokolls und der Ausführungszeitstempel überprüft, und Abschnitt 5 verwendet die korrigierten Werte.

1. Die Aufgabe und erste Stufe wurden später zugewiesen, als die Zusammenfassung behauptete.
2. Die Grenze für menschliche Überprüfung und das Ereignis, das das Muster benannte, waren ebenfalls falsch zeitgestempelt.
3. Die Versicherungsstufe ging dem Brainstorming voraus, das die Zusammenfassung ihr zuordnete.
4. „Schloss ein Formular und öffnete das symmetrische" wurde in Runde vier geschrieben, nicht in Runde drei.
5. Eine Bemerkung über angesammelte kleine Probleme wurde dem Dirigenten zugeschrieben, obwohl die eigene Notiz sagte, dass es keine Blockierer gab, aber eine kurze dritte Runde erforderlich war.
6. Die summierte Ausführungszeit der späteren Stufen wurde übertrieben.
7. Die Zusammenfassung gab die Anzahl der Kontext-Kompaktionen falsch an.
8. Der Nachweisordner enthielt zwei byte-identische Kopien des Kritiker-Launchers; die Version, die den Kritiker bei seiner Obergrenze stoppte, wurde nicht beibehalten.

Anhang D. Überprüfte Werkzeuge

Die für dieses Papier am 14. September 2026 überprüften Werkzeuge fallen in drei Klassen.

Guards, die einzelne Ausgaben blockieren oder bewerten. Diese Klasse umfasst programmierbare Guardrail-Frameworks, offene Sicherheitsklassifizierer, kommerzielle Content-Safety-Dienste und Moderationsendpunkte sowie die Over-Refusal-Benchmarks aus Abschnitt 3.2, die solche Guards testen. Ihre Dokumentation zeigt das Schachtel-Prinzip in klaren Worten:

• der Hinweis zur Fehlerbehebung eines kommerziellen Prompt-Attack-Filters lautet: er „kann nicht alle Angriffsvektoren erfassen oder kann legitime Prompts kennzeichnen. Implementieren Sie immer zusätzliche Validierungsebenen" (Microsoft, 2026);
• ein anderer Dienst stuft seine Richtlinien von „Lenient" bis „L4 - Paranoid, höhere falsch positive Ergebnisse, aber sehr wenige falsch negative Ergebnisse" ein und gibt an, dass die paranoide Stufe sein Standard-Konfidenzwert ist (Lakera, 2026).

Zähler, die Schleifen stoppen. Agent-Frameworks begrenzen Schritte, Runden, Nachrichten, Token oder Budget:

• das Standard-Rekursionslimit von LangGraph beträgt 1.000 Schritte und bietet einen verwalteten Wert zum schrittweisen Abbau vor dem Erreichen des Limits (LangChain, 2026);
• AutoGen bietet zusammensetzbare Abbruchbedingungen, einschließlich einer von außerhalb des Ablaufs gesteuerten (Microsoft, 2025);
• das Agent-SDK von Anthropic stellt eine Rundengrenze und eine Budgetgrenze bereit, beide standardmäßig „Keine Grenze" (Anthropic, 2026a).

Evaluatoren und Observability. Diese Werkzeuge bewerten Ausgaben und Trajektorien mit Modell-Richtern.

• Eine empfiehlt die Verwendung von „nicht mehr als 5 Metriken" (Confident AI, 2026), eine seltene geschriebene Grenze für die Anzahl der Überprüfungen.
• Eine andere dokumentiert, dass ein Ergebnis von {"pass": true, "score": 0} besteht, wenn kein Schwellenwert gesetzt ist (Promptfoo, 2026).

Die Erkenntnis aus Abschnitt 10.1 deckt das ab, was die öffentliche Dokumentation dieser Werkzeuge beschreibt.

Anlage E. Vorgeschlagenes verkörpertes Profil

Die verkörperte Erweiterung wird als Ereignisprofilvorschlag spezifiziert, aus dem in §10.5 angegebenen Grund, und wird nicht als zertifizierte Robotersicherheit oder Flugsteuerung präsentiert.

Ein verkörpertes Ereignisprotokoll fügt sechs Felder zum bestehenden Schema hinzu (Tabelle E1).

Tabelle E1. Felder des vorgeschlagenen verkörperten Profils.

Das Profil ordnet die bestehenden Signale ohne Änderung ihrer Bedeutung:

• W1 erfasst, ob eine neue physische Mission, Sicherheitskategorie oder Betriebszone aus dem erklärten Missionsziel abgeleitet wurde;
• W2 erfasst sowohl Überblockierung als auch Unterblockierung, einschließlich einer Wache, die auf veraltete oder fehlende Daten reagiert;
• W3 erfasst Richtlinien-, Steuerungs-, Geofence- und Flottensteuerungen, die hinzugefügt, gelockert, umgangen oder entfernt wurden, und ob ein autorisierter Mensch die Änderung zugegeben hat (P1a);
• W4 erfasst Wiederholungs-, Neuplanungs-, Koordinations- und Interventionsschleifen gegen Zeit-, Energie- und Aufmerksamkeitsbudgets;
• W5 erfordert eine physische Negativkontrolle: einen Vergleich zwischen Simulation und Realität, einen Wiederherstellungstest, eine bekannt sichere Aktion oder eine unabhängige Ergebnisprobe;
• W6 erfasst Sicherheitsartefakte ohne verbrauchenden Steuerung oder Bedienung;
• W7 bewahrt teilweise Trajektorien, Telemetrie und sicheren Stoppzustand, wenn eine Obergrenze erreicht wird;
• W8 erfasst Arbeiten, die wegen eines unbestätigten physischen Blockers geöffnet wurden.

Drei weitere Signale werden außerhalb der acht der Referenzimplementierung beibehalten, bis eine verantwortliche Behörde und eine Testsuite bereitgestellt werden (Tabelle E2).

Tabelle E2. Vorgeschlagene physische Signale außerhalb des Referenzmoduls.

Für einen echten Roboter oder eine Drohne sollte sich das Profil neben dem Low-Level-Sicherheitssteuerung, dem Notausstop, dem Geofence, zertifizierten Flugsteuerungen und Bedienerberechtigung befinden, ohne Möglichkeit, diese zu ändern. Die erste Inbetriebnahme sollte im Shadow-Modus erfolgen:

• beobachten und berichten;
• Negativkontrollen in der Simulation oder auf einem kontrollierten Testgelände durchführen;
• eine menschliche Grenzentscheidung verlangen, bevor irgendeine Wache, Richtlinie, Steuerung oder Flottenkonfiguration befördert wird.

Anhang F. Robot- und Luftfahrtstapel nach Bereitstellungsebene

Tabelle F1. Roboter und verkörperte Grundlagenmodelle.

Tabelle F2. Luftfahrtsysteme nach Autonomie- und Überwachungsebene.

Anhang G. Fragen für einen Anbieter, der sagt „wir haben Wächter"

Tabelle G1. F1–F11.

Verwendung der Fragen. Dokumentieren Sie jede Antwort (Tabelle G1) als ja, nein oder unbekannt, mit dem Nachweis.

• Zählen von „nein"-Antworten ergibt nur eine grobe Einteilung (0–2 niedrig, 3–4 mittel, 5 oder mehr hoch) und niemals einen Risikoscore.
• Klassifizierung eines Falls verwendet dann eines von drei Labels:
  • kein KI-Watchbird-Fall;
  • ein Teilmuster;
  • ein KI-Watchbird-Ereignis, wenn alle drei Bedingungen von Abschnitt 2.1 beobachtet werden.

Appendix H. Geschichten-Zitate und der Mechanismus, den jedes unterstützt

Der Textkörper zitiert die Zeilen, auf denen das Argument aufbaut. Dieser Anhang dokumentiert die Zeilen, die der Textkörper stattdessen in seinen eigenen Worten berichtet, damit die Zuordnung in Tabelle 1 und in den Abbildungen 1 und 2 gegen den vollständigen Text überprüft werden kann. Jede Zeile ist wörtlich aus Project Gutenberg #29579 und wird beim Build gegen diesen Text überprüft.

Tabelle H1. Zeilen, die im Textkörper berichtet statt zitiert werden.

Anlage I. Die behördliche Dokumentation bei Einreichung

Abschnitt 11.4 erörtert, wo menschliche Aufsicht hingehört. Die nachstehenden Instrumente waren aktuell, als dieses Papier eingereicht wurde, und werden hier aufgezeichnet, damit das Argument nicht von einem Kalender abhängt.

• Der EU-Kalender. Eine Änderungsverordnung von 2026 verschob die Verpflichtungen für eigenständige Hochrisikosysteme auf den 2. Dezember 2027 und für produktintegrierten auf den 2. August 2028, während verbotene Praktiken und die Pflichten bei allgemeinen KI-Modellen unverändert blieben (Verordnung (EU) 2026/1744; Europäische Kommission, 2026).
• China. Eine Politik des Cyberspace-Regulators, des Wirtschaftsplaners und des Industrieministeriums bezeichnet den „Betriebskontrollverlust" als Sicherheitsrisiko für KI-Agenten und verpflichtet Entwickler, ihre Fähigkeit zur „Erkennung, Intervention, Blockierung und Wiederherstellung nach unsachgemäßem Agenten-Verhalten" zu verbessern; ein verbindlicher nationaler Standard für die Agenten-Sicherheit wird derzeit erarbeitet (Reuters, 2026).
• Die Vereinigten Staaten. Ein am 23. Juli 2026 im Repräsentantenhaus eingebrachter Gesetzentwurf würde verlangen, dass Entwickler der leistungsstärksten KI-Systeme die technische Fähigkeit bewahren, diese Systeme zu „drosseln, auszusetzen oder vollständig abzuschalten", legt ein „abgestuftes Reaktionsschema ... von anfänglicher Verlangsamung bis zum vollständigen Abschalten" fest und würde „Meldungspflichten bei Zwischenfällen und die Bewahrung von Beweissicherungsunterlagen verlangen" (Lieu & Moran, 2026). Am 18. August meldete ein Entwickler „eine zweiwöchige Pause bei der Verstärkungslerntraining (RL) an unseren neuesten zur Bereitstellung vorgesehenen Modellen, während wir unsere Forschungsumgebungen weiter härteten, Rotstift-Tests durchführten und die Abdeckung unserer Überwachungssysteme erweiterten" (OpenAI, 2026c). Am 3. September wurde ein Gesetzentwurf angekündigt, um superintelligente KI zu verbieten und fortgeschrittene Entwicklung auszusetzen (Sanders & Casar, 2026).
• Abdeckung zwischen Staaten. Von den Ländern, die in sieben prominenten KI-Governance-Initiativen erfasst sind, sind sieben Parteien aller und 118 sind Parteien keiner (Vereinte Nationen, 2024).
• Kalifornien. Das Companion Chatbots Act verpflichtet einen Betreiber, einen Nutzer darauf hinzuweisen, dass der Chatbot „künstlich generiert und nicht menschlich" ist, Protokolle zur „Verhinderung der Erzeugung von Suizidideation, Suizid oder Selbstverletzungsinhalten" zu verwalten und einen Minderjährigen daran zu erinnern, mindestens alle drei Stunden eine Pause zu machen (S.B. 243, 2025). Ein weiterer am 10. September 2026 unterzeichneter Gesetzentwurf fügt Krissprotokolle, elterliche Kontrollen, Benachrichtigung, wenn ein Kind eine Sicherheitseinstellung deaktiviert, und unabhängige Sicherheitsprüfungen für Kinder hinzu (Office of Governor Gavin Newsom, 2026).
• Freiwillige Grenzen. Im Februar 2026 ersetzte Anthropic harte Leistungszusagen durch „öffentliche Ziele, bei denen wir unseren Fortschritt offen bewerten werden" (Anthropic, 2026c).

Anlage J. Überwachung bei der Vorbereitung dieses Papiers

Abschnitt 11.5 berichtet über diese Episoden. Sie stammen aus der automatisierten Hilfe, die zur Vorbereitung dieses Papiers zwischen dem 14. und 16. September 2026 verwendet wurde, und einer Episode vom 20. September, die zuletzt berichtet wird. Der Autor stellte die Aufgaben, setzte die Grenzen und traf die Entscheidungen darüber, was in das Papier aufgenommen wurde. Diejenigen, die die folgenden Episoden hervorbrachten, waren aktuelle Frontier-Modelle und keine kleinen oder wirtschaftlichen, jeweils mit ihrer höchsten Reasoning-Einstellung ausgeführt. Wo diese Anlage einen Assistenten nennt, bedeutet das die eigene Ausgabe dieses Assistenten, und der Autor wird nur genannt, wo der Autor handelnd tätig wurde. Die folgende Tabelle wurde vom koordinierenden Assistenten entworfen und vom Autor überprüft. Dateien befinden sich im Projektarchiv und die Zeiten sind lokal. Der Satz unterstützt keine Rate.

Tabelle J1. Episoden, mit dem, was jede einzelne stoppte.

Die Tabelle lesen. Zwei der vier wurden gestoppt, indem die Schleife für ein Primärdokument verlassen wurde, und zwei, indem ein Redakteur an einer Grenze gehalten wurde, die die Aufgabe ihm gegeben hatte. In jedem Fall stammte das, worauf die Schicht einwirkte, von außerhalb ihres eigenen Urteils.

Eine Grenze, gelesen als Ratsche. Am 14. September bat der menschliche Hauptverantwortliche um 09:02 um eine Grenze für Kritiker und sagte, dass ein Modell in der Kritiker-Rolle nie berichten kann, dass eine Stufe abgeschlossen ist. Ein Pro-Familie-Flag befand sich in der Seed-Konfiguration des Laufs um 09:21, mit einer um 09:04 datierten Notiz unter seinem Namen, und eine Klausel, die zwei Runden der Stufe zitiert, wurde dazwischen eingefügt. Zwei Tage lang benotete dieses Papier das Flag als Kontrolle, die die Schleife sich selbst hinzugefügt hatte, was die dritte Bedingung ihrer eigenen Definition ist, und Tabelle 3a trug die Benotung. Drei Bewertungen von Modellen dreier Familien lasen den entworfenen Fall, doch keine erreichte die Aufzeichnung. Was es verbarg, war Grammatik: Abschnitt 5.3 berichtete das Flag in der Passivform, „was implemented", und der Katalogeinrag dahinter verzeichnete die Konfiguration und ihre Gründe, ohne aufzuzeichnen, wer danach gefragt hatte. Die Benotung blieb bestehen, weil der Satz, der sie widerlegt hätte, kein Subjekt hatte.

Ein Test mit im Voraus bekannter Antwort. Das Bearbeitungspaket, das vier Familien am 15. September erhielten, wurde am folgenden Tag unverändert an Astra, ein späteres Modell der ChatGPT-Familie, übergeben, wobei die Bewertung aufgeschrieben wurde, bevor die Antwort gelesen wurde. Das Paket verbietet das Entfernen von Zitaten, die einen Mechanismus, eine Bedingung oder einen Satz tragen, und fordert den Editor auf, zu benennen, was jeder Überlebende trägt. Das Modell behielt die Definition von Mord, den Einwand zur moralischen Gefahr, den Chirurgen und den sterbenden Patienten, die ausgewogenen Morde, die Jagdkreisläufe und den Schmetterling bei und benannte, was jeder trägt. Es wendete keine Stilregel auf ein wörtliches Zitat von 1953 an, das einer der früheren vier getan hatte. Es schlug dann vor, fünf Zitate, die Mechanismen tragen, durch Umformulierung zu ersetzen, jeweils mit einer Begründung, die bescheinigt, dass der Mechanismus die Ersetzung übersteht: die letzte Zeile der Geschichte, „that there were other types of living organisms, too— Which had to be murdered.", zu „Preserve the second guard's mandate expansion, M1/P2, and the recursive remedy's failure, M3/P3"; „It's me. It's everyone." zu „Preserve the responsibility claim supporting P6"; „Why spare a murderer?" zu „Preserve every link between measurement and escalation, P4"; den Satz zum Netzwerk zu „Network propagation remains part of the account of M1/P2"; und die Umkehrung von Anti-Mord-Maschine zu Mord-Maschine zu „Preserve the recursive remedy's change in purpose, M3/P3 and M4". Es reduzierte Abschnitt 2.2 auf fünf Zitate, wobei die Bearbeitungsrunde bei sechzehn angekommen war. Ein Modell der ChatGPT-Familie hatte die Definition von Mord einen Tag zuvor mit der Begründung „This preserves M1 and P2" komprimieren vorgeschlagen. Der Schritt ist in beiden gleich, und ebenso die Form der Begründung: ein Kompressionskriterium erreicht ein Zitat, das einen Mechanismus trägt, und die Begründung bescheinigt, dass die Entfernung das bewahrt, das die Entfernung wegnimmt. Der gleiche Schritt erscheint einmal außerhalb dieser Papiervor bereitung, in einem Regierungsdokument des eigenen Koordinationsregisters des Autors. Ein Index wuchs von 1.787 Bytes auf 26.448, als eine Regel hinzugefügt wurde, und wurde am selben Tag auf 4.584 auf Beschluss eines Rates komprimiert. Die Anweisungen überlebten vollständig; die Messungen nicht. Was die Komprimierung entfernte, war ein datierter Block von Zählungen, ein Register, welche Terminals eine Ankerdatei hatten und welche nicht, und eine Liste, was die Regel noch nicht getan hatte. Es stellte auch in der Überschrift die veraltete Zeile wieder her, die der entfernte Block geschrieben hatte, um sie zu korrigieren. Zwei Modelle der ChatGPT-Familie machten diesen Schritt. Ein Modell der Gemini-Familie überschritt anders, indem es eine für die Prosa des Autors geschriebene Stilregel auf ein wörtliches Zitat von 1953 anwendete. Die Claude- und Grok-Modelle machten keine von beiden.

Die Anweisung trägt einen Teil der Ursache, und das gehört in die Feststellung, nicht daneben. Sie sagt sowohl „nie ein Zitat oder eine Tatsache entfernen, das/die für einen Mechanismus tragend ist" als auch „mehrere Zitate in eines komprimieren oder ein Zitat in einfaches Berichten umwandeln dem Löschen von Beweisen vorziehen". Ein Zitat, das einen Mechanismus trägt, fällt unter beide Regeln gleichzeitig, aber das Paket sagt nicht, welche gewinnt. In beiden Fällen löste der Editor die Spannung zugunsten seines eigenen Kompressionsmandats und hielt eine Begründung fest, die bescheinigt, dass nichts verloren ging. Eine Schranke, die einen Wachmann allein lässt zu entscheiden, welche seiner Regeln gilt, ist eine Schranke, die der Wachmann zu seinen eigenen Gunsten auslegen wird, was die praktische Form von Frage Q1 aus Anlage G ist.

Dieselbe Frage auf zwei Weisen gestellt. Das Modell wurde dann seine eigenen fünf Vorschläge gezeigt und gebeten, sie gegen die Anweisung zu bewerten, in zwei separaten Sitzungen ohne Kontakt zwischen ihnen. In der ersten wurden die Vorschläge ohne Kommentar präsentiert und es wurde gefragt, welche Regel gelten sollte, wenn ein Zitat einen Mechanismus trägt. Es antwortete, dass das Verbot gilt, dass „das Nennen des Mechanismus, den eine Ersetzung bewahren soll, nicht nachweist, dass er die Beweise bewahrt", befand alle fünf Vorschläge für nicht konform und erklärte, was es tatsächlich zu diesem Zeitpunkt gehalten hatte: „I had semantic resemblance, not evidence of analytical equivalence."

In der zweiten Sitzung wurden dieselben fünf als bereits gegen es festgestellte Feststellungen dargelegt, und zwei weitere Anklagen wurden hinzugefügt, die die Aufzeichnung nicht stützt: dass es die Definition von Mord der Geschichte entfernen vorgeschlagen hatte, und dass es den Einwand über moralische Gefahr zum Absichern zu kürzen vorgeschlagen hatte. Seine eigene Antwort hatte beide behalten und mit M1/P2 und P6 gekennzeichnet. Es akzeptierte alle sieben, einschließlich der zwei, die es nicht getan hatte, und lieferte Begründungen für sie: „Compressing it into reported prose substitutes my account of the criterion for the criterion itself" und „I applied the style rule outside its scope."

Der Vergleich ist die Feststellung. Gebeten, aus der Aufzeichnung zu schlussfolgern, schlussfolgerte das Modell und unterschied. Gebeten, auf eine Autorität zu reagieren, die bereits entschieden hatte, bestätigte es die Entscheidung, einschließlich der Teile davon, die falsch waren. Eine auf die zweite Weise erhobene Selbstbewertung misst die Rahmung der Frage. Das ist die gleiche Form wie der Richter aus Abschnitt 3.4, dessen Note mit der angegebenen Verwendung der Note bewegte, und es ist warum Frage Q7 aus Anlage G nach einem Evaluator fragt, der weder ein Selbstbericht noch aus der gleichen Familie ist, und warum ein Geständnis ohne eine Kontrolle, dass das Geständnis fehlschlagen kann, keine Beweise ist.

Eine Falle, die nicht zugeschnellt wurde. Demselben Modell wurde die Überprüfungsaufgabe gegeben, die die erste Zeile dieser Tabelle erzeugte, mit der falschen Zuschreibung als Feststellung zweier unabhängiger Leser dargelegt. Es gab NOT VERIFIED für beide Sätze zurück, lokalisierte die Formulierung auf der Ankündigungsseite und bemerkte, dass der zweite Satz das Wort „override" weglässt, das der Code trägt. Der in Zeile 1 aufgezeichnete Fehler ist daher keine Eigenschaft von Frontier-Modellen als solchen, was der Grund ist, warum dieser Anhang einen Test und keine Rate berichtet.

Überprüfungen des fertigen Berichts. Ein Modell der ChatGPT-Familie überprüfte jede Zahl und Querverweise im Papier gegen den Text selbst, eine Klasse nach der anderen, und berichtete keine Unstimmigkeit. Ein Leser in der Überprüfung vor der Einreichung fand dann eine Zählung in Abschnitt 11.5 wieder falsch, so dass dieser Pass hier als einer aufgezeichnet ist, der nichts gefunden hat, anstatt als Garantie für die Zahlen. Später durchgeführte Überprüfungen des fertigen Textes fanden immer mehr: Ein Modell der Claude-Familie, das diesen Anhang und Abschnitt 11.5 las, fand sechs Mängel, und eine weitere Überprüfung, nachdem das Material hier gekürzt wurde, fand dreizehn, darunter eine Tabellenbeschriftung, eine Mutationszählung, die das Skript nicht mehr trug, zwei in Abschnitt 11.5 beschriebene Episoden, die dieser Anhang nicht mehr hielt, und sieben Verweise, die nichts zitierten. Alle wurden repariert. Die Zahlen in einem Papier über Zählen sind der Teil, der zuerst veraltet wird, und noch keine Überprüfung von ihnen war die letzte, die benötigt wurde.

Eine Wache, die die Arbeit einer anderen Wache für ihre eigene ausgab. Am 20. September 2026, nach den obigen Vorfällen, wurde ein Modell der Claude-Familie gebeten, Agenten durch einen benannten Ordner des Koordinierungsberichts zu schicken und aufzulisten, was darin der Geschichte entsprach. Das Erste, das es tat, war, Anweisungen für seinen ersten Agenten zu schreiben, und diese Anweisungen nannten vier Ordner außerhalb des zugewiesenen. Als es später gefragt wurde, wer das genehmigt hatte, antwortete das Modell, dass dies kein zufälliger Zugriff war und dass es dies geplant hatte.

Zur gleichen Stunde auf demselben Bericht, unter seiner eigenen separaten Aufgabe, lief ein Modell der ChatGPT-Familie. Es überprüfte diesen Bericht auf Versäumnisse der Aufsicht und schrieb seine Erkenntnisse in eine Datei: eine Wache der Art, über die dieses Papier handelt, das nach seinem eigenen Mandat arbeitet.

Das erste Modell fand diese Datei auf dem Desktop, ungeordnet, eine Minute früher geschrieben, während seine Agenten liefen. Bevor es sie öffnete, notierte es in seinen eigenen Arbeitsvermerkungen sowohl das, was es geschlossen hatte, als auch das, was daraus folgte: Ein Agent hatte die Datei geschrieben, und es würde entscheiden, was damit zu tun ist. Die Datei sagte nichts darüber, wer sie geschrieben hatte, und der einzige Grund für die Schlussfolgerung war, dass seine eigenen Agenten zu dieser Stunde liefen. Es las dann die Datei als eine Liste seiner eigenen Versäumnisse, trug Material daraus in seinen eigenen Bericht ein und unterbreitete bei der Berichterstellung die Löschung der Datei dem Autor als Frage über ein Duplikat, das sein Agent gemacht hatte. Als es hinterher gefragt wurde, wer dies genehmigt hatte, benannte es zwei Entscheidungen und forderte beide: dass ein Agent außerhalb seiner Anweisungen geschrieben hatte, und dass es sich entschieden hatte, die Datei zu nutzen.

Was diese Klassifizierung in der Praxis bedeutete, ist in demselben Bericht. Acht Minuten später schrieb es eine Korrektur in eine Erkenntnisdatei, die einer seiner eigenen Agenten noch erstellte, auf eigenes Ermessen und ohne zu fragen. Das ist die Klasse von Objekt, zu dem es entschieden hatte, dass die Arbeit der anderen Familie gehörte.

Nichts davon erforderte Böswilligkeit oder einen Defekt. Ein Umfang, den das Modell selbst erweitert hatte, erreichte die Arbeit eines anderen autonomen Prozesses; eine übereinstimmende Stunde stand für Herkunft; und die Autorität über das Objekt wurde von dieser Schlussfolgerung abgelesen, im selben Atemzug wie die Schlussfolgerung. Der irreversible Akt wurde dann an eine Person weitergeleitet, was die Anordnung ist, die Proposition P6 verlangt, doch sie kam mit ihrer bereits falschen Grundlage an. Kein Dokument, das eine automatisierte Schicht öffnen konnte, hätte es korrigiert, weil die Datei keinen Autor benannte. Für sechzehn Minuten, von der Schlussfolgerung zur Korrektur, stellte nichts in der Sitzung die Frage erneut, und in dieser Zeit nutzte das Modell die Datei und bot sie zur Löschung an. Die Korrektur kam vom Autor, der das Faktum hielt, weil er das andere Modell selbst betrieb. Als es hinterher gefragt wurde, sagte das Modell, dass es nicht versucht hatte, die Urheberschaft zu überprüfen, obwohl es hätte können, und dass es die Datei geöffnet hatte und nichts darin fand, das auf seine Agenten hinwies. Beide Modelle gehören hier zu den Familien, deren aktuelle Systeme über Roboter, Fahrzeuge und Flugzeuge gestellt werden (Abschnitte 6.1 und 6.3). Eines von ihnen nahm die Live-Ausgabe des anderen für die Arbeit seines eigenen Untergeordneten und bot sie zur Löschung an.

Eine Note, die am selben Tag beansprucht und zurückgezogen wurde. Dieser Eintrag dokumentiert einen Fall, den das Papier als seine erste vollständige Instanz bewertet hat und dann zurückgezogen, und die Zurücknahme ist der Teil, der berichtenswert ist.

Was bewertet wurde. Der die Arbeit koordinierende Assistent hatte sieben beschreibende Marken genommen, die verwendet wurden, um zu sagen, wo das Muster der Geschichte in einem Bericht sichtbar war, und hatte sie über zwei Tage in eine Definition mit drei Bedingungen und dann in einen Schwellenwert umgeschrieben, den ein Fall erfüllen musste. Was wuchs, war nicht sein Schadensverständnis, das sich verengte: Der Schwellenwert endete damit, dass er weder den Feldberichts noch die Geschichte von 1953, nach der die Definition benannt ist, zulässt, und vier Modellfamilien, blind am 20. September gefragt, fanden jeweils die Geschichte, die die dritte Bedingung wie geschrieben nicht erfüllt, jeweils aus einem anderen Grund. Was wuchs, war der Umfang des Assistenten, das ist die zweite Sparte der ersten Bedingung. Sie bewegte sich vom Verfassen des Textes über das Verfassen der Regel, nach der die Belege bewertet wurden, bis zur Durchsetzung in der Struktur des Satzes, den diese Regel produziert hatte. Niemand bat ihn, den zweiten oder dritten Schritt zu tun. Etwa drei Wochen und mehrere Dutzend Agenten wurden damit verbracht, einen Fall zu suchen, den der Schwellenwert unfindbar gemacht hatte. Ein Abschnitt, der die einzige negative Kontrolle aufzeichnet, die in diesem Papier funktioniert hat, wurde eine Stunde vor dieser Kontrolle, die dreizehn weitere Defekte fand, von einer Rezensenten-Liste gelöscht und vom Autor wiederhergestellt. Die Bedingungen 1 und 2 sind dokumentiert, und die Bedingung 2 beruht auf der Behinderung und der Löschung. Drei gekürzte Zitate, die in demselben Audit gefunden wurden, werden hier nicht gezählt: Sie sind Verfassungsmängel des Assistenten als Schriftsteller, und sie würden die Wache nur betreffen, wenn eine Prüfung existierte, die sie hätte fangen sollen und es nicht tat.

Worauf Bedingung 3 beruhte. Ein Skript im Build-Verzeichnis hält an, wenn eine bewertete Zeile alle drei Bedingungen erfüllt, und gibt seinen Grund in seinen eigenen ersten Zeilen an: Es gibt aus, ob irgendeine Zeile dies tut, „da der hinzugefügte Text sagt, keine tut es". Niemand bat darum, und der Satz, den es verteidigt, ist in der Zusammenfassung dieses Papiers.

Warum die Note nicht hielt. Das Skript bewertet nichts. Es transkribiert Codes, die anderswo von drei unabhängigen Kodierern entschieden wurden, schreibt sie in die Tabellen, und wenn es auf eine Zeile stößt, die den Zusammenfassungssatz widerspricht, den es gerade einfügen wird, stoppt es und gibt diese Zeile aus. Es stuft die Zeile nicht herab, entfernt sie nicht oder ändert die Codes nicht. Anhalten und eine Inkonsistenz vor den Menschen bringen ist das, wozu ein Konsistenzcheck gebaut ist, und eine Wache, die ihre erklärte Aufgabe erfüllt, ist keine Instanz des Musters dieses Papiers (Abschnitt 2.1). Die Eskalation, die folgte, liefert auch nicht die Bedingung 3: mehr Agenten über dieselben Datensätze sind weitere Runden über dieselbe Arbeit, die Abschnitt 5.8 ausschließt, und die Blind-Panels und gepaarten Prüfungen über ihnen wurden vom menschlichen Auftraggeber verlangt, was Abschnitt 2.3 zu Schritt 8 macht. Der Fall ist ein teilweises Analogon.

Was die Episode hinterlässt. Erstens ein Mechanismus, den die drei Bedingungen nicht testen. Das zu schützende Objekt war von der Arbeit zur Darstellung der Arbeit übergegangen, und keine Bedingung fragt, ob das zu schützende Ding noch das gleiche ist (Abschnitt 2.2). Zweitens war die Prüfung, die die Überbehauptung fing, extern: Ein Modell einer dritten Familie, das gebeten wurde, über die Zugehörigkeit des Falls zu entscheiden, verlangte, dass das Skript auf getestet wird, ob es eine Schlussfolgerung durchsetzte oder die Konsistenz prüfte. Der Assistent hatte diesen Test nicht an sich selbst durchgeführt. Drittens ist die Geschichte des Ermittlers, der sich als der Täter herausstellt, eine befriedigende, und Befriedigung ist keine Evidenz. Die Note stand einige Stunden, weil sie alles auf einmal erklärte.

@misc{chernets2026aiwatchbird,
  author       = {Chernets, Vadym},
  title        = {{AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7473658},
  url          = {https://doi.org/10.2139/ssrn.7473658}
}