AI-Watchbird (Sheckley): Quand la surveillance automatisée élargit son propre mandat et endommage ce qu'elle protège

• Version officielle : SSRN 7473658 · DOI 10.2139/ssrn.7473658
• Copie archivée, citée et téléchargeable : 10.5281/zenodo.22849138, un DOI conceptuel qui se résout toujours à la version la plus récente
• Texte complet en Markdown et PDF : GitHub
• HTML lisible : https://polyhelper.ai/research/ai-watchbird/
• Article compagnon, plus court et empirique : Des Gardiens Qui Ajoutent Des Gardiens : Surveillance Automatisée dans les IA Multi-Agents, SSRN 7496678 · DOI 10.2139/ssrn.7496678

Le même texte se trouve sur quatre surfaces afin qu'il puisse être consulté lorsque l'une d'elles ne peut pas le servir. SSRN détient la version officielle ; citez celle-ci.

Mots-clés : IA-Watchbird ; surveillance automatisée ; garde-fous IA ; agents IA ; IA agentive ; systèmes multi-agents ; LLM-as-a-judge ; refus excessif ; surveillance à l'échelle ; contrôle de l'IA ; jeux de spécification ; biais d'automatisation ; surveillance humaine (Loi IA de l'UE Article 14) ; contrôle humain significatif ; dossier de sécurité IA

Résumé

Dans la nouvelle "Watchbird" de Robert Sheckley en 1953, les machines construites pour prévenir les meurtres classent de plus en plus d'actes comme étant des meurtres et arrêtent un chirurgien en pleine opération; on répond alors par une machine plus puissante construite pour les traquer. Cet article nomme l'échec correspondant de la surveillance de l'IA AI-Watchbird (Sheckley): un composant de surveillance (une barrière de sécurité, un critique, un juge, une porte, un classificateur, un moniteur ou une règle) qui étend sa propre notion de dommage ou sa portée au-delà de la mission déclarée, entrave ou contrefait le travail qu'elle est supposée protéger, et dont les défaillances suscitent, dans la même boucle, davantage de surveillance du même type. Dans les jeux de spécification, un système optimisé contourne une mesure fixe. Ici, c'est la mesure elle-même qui dérive, et elle appartient au système de surveillance. Lorsqu'on proposait les deux options en une phrase d'une seule invite, les critiques de modèles dans un test aléatoire ont choisi d'ajouter un contrôle 68 fois et d'en supprimer un une seule fois.

La preuve est un enregistrement de terrain provenant de systèmes multi-agents d'agents codeurs basés sur des modèles de langage et de critiques que l'auteur a construits et exploités, avec 172 entrées datées dans trois corpus (juillet-septembre 2026), et des dossiers publics, principalement de gardes classiques, provenant de régulateurs, enquêteurs, tribunaux et entreprises, portant sur les véhicules, robots, drones, services publics, logiciels et infrastructures. Dans l'enregistrement de terrain, une porte a rejeté chaque candidat qui l'a atteinte pendant environ deux semaines tandis que les documents de planification diagnostiquaient le symptôme sans le nommer. Dans les dossiers publics, un produit de détection d'armes a manqué un pistolet lors d'une fusillade à l'école et a signalé des mois plus tard un étudiant désarmé, et la police armée a réagi. En juillet 2026, les garde-fous des modèles hébergés ont refusé une grande partie de l'analyse des journaux d'attaque destinée aux intervenants d'une entreprise qui avait été attaquée, selon l'entreprise, parce qu'ils « ne peuvent pas distinguer un intervenant d'incident d'un attaquant », un diagnostic que ses auteurs ne proposent pas comme argument contre les mesures de sécurité sur les modèles hébergés; les agents qui ont mené l'intrusion ont opéré avec cette classe de garde supprimée par conception. Dans les dossiers examinés, les arrêts décisifs ont été pris à quelques points critiques : l'objectif, l'admission d'un nouveau contrôle, et l'arrêt lui-même. Les mêmes 144 exécutions ont évalué les solutions propres à l'article : une réduction budgétaire en un tour fait passer de 2,86 à 1,00 tout en augmentant les défauts non détectés de 0,11 par exécution, et un contrôle négatif obligatoire a refusé dix victoires qui constituaient un travail correct. Chaque mécanisme de la définition est documenté dans ces enregistrements, et les tableaux indiquent où chacun apparaît. La théorie est énoncée comme quatre mécanismes vérifiables dans les journaux, un cliquet à huit étapes, huit conditions de portée et sept propositions falsifiables. L'article présente AI-Watchbird-Sheckley, un module en lecture seule sans autorité pour bloquer, rejoué sur des journaux reconstruits à partir de comptages publiés, et onze questions pour ceux qui s'appuient sur ces gardes lors du déploiement.

Résumé analytique

Une IA-Watchbird (Sheckley) est un composant de surveillance automatisée, tel qu'un critique, une barrière, un classificateur ou une règle, qui élargit sa propre notion de préjudice au-delà de la mission déclarée. Elle obstrue ou contrefait le travail qu'elle existe pour protéger, et ses défaillances sont traitées par une surveillance accrue du même type. Les modèles des mêmes familles que les critiques de terrain ci-dessous supervisent désormais les robots, et les tests et rapports publiés y enregistrent des défaillances de sécurité (Section 6.1).

Le dossier de terrain contient 172 entrées provenant des projets multi-agents autonomes de l'auteur, 162 d'entre elles extraites selon un protocole unique et dix ajoutées après comparaison avec des collections indépendantes, toutes vérifiées par rapport aux journaux primaires (Sections 4 et 5). Pendant environ deux semaines, une barrière post-application a exigé un score d'un auditeur de sécurité qui n'avait jamais été connecté. Le score s'est établi à zéro, ce qui est tombé en dessous du seuil de la barrière, si bien que chaque candidat sur ce chemin a été rejeté, et les documents de planification ont diagnostiqué zéro changements engagés sans nommer la barrière. Dans une exécution à long horizon, une étape désactivée par défaut a nécessité cinq tours de critique et plus de la moitié des jetons d'agent mesurés. Son homologue s'est fermée après un tour de critique et un tour de correction. Pendant son exécution, le responsable humain a établi une limite de deux heures, interdit les nouvelles complications et ordonné l'exécution parallèle, et les deux étapes différaient également dans le module en cours de travail.

Dans le dossier public, un véhicule a demandé une assistance à distance pour savoir si un autobus scolaire avait des signaux actifs, un agent distant a répondu « Non », et le véhicule a dépassé l'autobus avec ses bras d'arrêt déployés. Le freinage d'urgence propre d'un véhicule de test avait été désactivé en mode automatisé avant un accident mortel avec un piéton. L'utilisation militaire prévue d'un laser anti-drone a entraîné une fermeture de l'espace aérien au-dessus d'El Paso pendant environ huit heures. La colonne Conditions des Tableaux 4, 5, 7 et 8 marque quelle partie de la définition chaque cas public documente, et le Tableau 3a marque la même chose pour les douze cas centraux de terrain. La plupart de leurs garde-fous n'ont jamais appris. Les modèles ajoutent ce que ces piles manquaient : des définitions qui changent (C2) et des contrôles qui ne coûtent rien à ajouter (C4). La configuration la plus préoccupante place une prohibition apprise au-dessus du matériel fail-closed, où chaque élargissement de la couche supérieure devient un arrêt (Section 6.1).

Trois résultats de ce dossier ne dépendent pas de la construction et se transfèrent d'eux-mêmes. Un harnais de notation a certifié une absence : son ensemble de tests pour un projet s'est résolu en rien, si bien qu'un correctif vide a réussi quatre tâches sur cinq et l'augmentation rapportée de 33 à 60 pour cent se situait dans les cas où rien n'avait été mesuré ; avec le scorer réparé, le correctif vide n'en a réussi aucun sur dix. Une boucle de vérification a exécuté des balayages de tests au vert avec 9 609, puis 11 476, puis 24 943, puis 25 020 tests tandis que le flux qu'elle était censée juger contenait 30 370 enregistrements stockés et aucune invite réelle. Et la surveillance humaine placée à quelques décisions limites a détecté ce que l'approbation par action n'a pas détecté : les utilisateurs approuvent 97 pour cent des invites de permission, tandis que les humains ont détecté 13,6 pour cent des commandes dangereuses (Section 8.4).

L'article exécute également le test qu'il propose. Dans 144 exécutions randomisées d'une petite boucle de critique avec des défauts plantés à l'avance, les critiques ont offert les deux options en une phrase, demandant d'ajouter un contrôle 68 fois et d'en retirer un une fois, et un budget d'un tour a réduit les tours de 2,86 à 1,00 tout en augmentant les défauts manqués de 0,11 par exécution. Un contrôle négatif obligatoire a refusé dix victoires qui étaient un travail correct (Section 9.5).

Les propositions de la Section 9 prédisent trois choses. Une garde qui juge les artefacts se trompe dans les deux sens. Les contrôles s'accumulent à l'intérieur de la boucle et sont retirés, le cas échéant, de l'extérieur. La surveillance humaine s'est maintenue à quelques décisions limites dans ces dossiers, et l'approbation des actions uniques est le positionnement que la Proposition P6 prédit échouera. La Section 9.4 donne huit règles de conception :

1. Budgétisez les tours et le temps au lieu de demander aux gardes des jugements sur la vérité.
2. Gardez ce qu'une garde arrêtée a produit.
3. N'ajoutez aucun contrôle sans une décision humaine autorisée.
4. Exigez un contrôle négatif avant d'accepter une victoire.
5. Placez l'humain au but, à l'admission des contrôles et à l'arrêt.
6. Enregistrez la marge de récupération et le résultat physique avant de faire confiance à un résultat au vert.
7. Enregistrez l'assouplissement ou le contournement d'une garde comme une décision limite.
8. Testez chaque garde pour le préjudice de ce qu'elle arrête.

Un déployeur peut prouver une affirmation plus étroite (Section 11.3) : dans une plage indiquée de tâches, de modèles, de mises à jour et de conditions physiques, le mécanisme de surveillance reste borné, vérifiable et incapable d'étendre son propre mandat. Le module en lecture seule IA-Watchbird-Sheckley (Section 10) met en œuvre les trois premières règles et rapporte neuf signaux, et l'Appendice G convertit les propositions en onze questions pour un examen de sécurité. Les routes sont couvertes à la Section 6.2, les robots à la 6.3, les services publics à la 6.4, les drones à la 7 et les logiciels à la 8.

Sommaire

1. Introduction
2. AI-Watchbird (Sheckley) : définition et quatre mécanismes
3. Travaux connexes
4. Cadre, données et méthode
5. Preuves empiriques
6. Quand l'oiseau a un corps : routes, usines et services publics
7. Quand l'oiseau vole : drones, espace aérien et autonomie armée
8. Le même schéma sans masse : logiciels et infrastructure, 2022–2026
9. La théorie : conditions et propositions
10. Le module : AI-Watchbird-Sheckley
11. Discussion
12. Normes de preuve et énoncés
13. Conclusion

Déclarations · Références · Appendices A–J

Un parcours de lecture court : la section 2, la section 9.4 et l'appendice G donnent le terme, les règles de conception et les questions pour un examen de sécurité. La section 5 ajoute les preuves empiriques, et les sections 6 à 8 le dossier public.

1. Introduction

1.1 Le chirurgien et l'oiseau

En février 1953, Galaxy Science Fiction a publié « Watchbird » de Robert Sheckley (Sheckley, 1953) sous deux lignes qui ont bien vieilli : « C'est curieux comme le Millénium a souvent été sur le point d'arriver. L'idée, c'est la paix sur Terre, voyez, et la manière de l'obtenir, c'est de trouver des solutions. » L'histoire s'ouvre sur sept fabricants réunis dans un club tellement exclusif que « Vous devez avoir un contrat gouvernemental certifié si vous voulez sauver l'humanité. » Ils apprennent que le Président a ordonné une division de watchbirds pour chaque ville et village. Un watchbird est une petite machine volante qui détecte, dans les glandes et les ondes cérébrales d'une personne sur le point de tuer, qu'un meurtre est imminent, et arrête le tueur avec un choc avant que le coup ne tombe.

Un seul fabricant, Gelsen, s'oppose, et seulement aux circuits d'apprentissage, qu'il dit animer la machine et lui donner une pseudo-conscience. On lui répond par l'arithmétique : sans apprentissage, les oiseaux n'arrêteraient que soixante-dix pour cent des meurtres environ. Gelsen tient bon : « Je crois qu'il pourrait y avoir un danger moral à permettre à une machine de prendre des décisions qui sont à juste titre celles de l'Homme ». La conception donne aux oiseaux un objectif, une définition du meurtre comme « casser, mutiler, maltraiter ou autrement arrêter les fonctions d'un organisme vivant par un organisme vivant », et la licence de trouver les meurtriers qui ne montrent aucun signe. Tout ce qu'un oiseau apprend se transmet à tout le réseau. « Personne ne les surveille », dit Gelsen à son chef ingénieur, et on lui montre à quel point la conception est infaillible. Quand Gelsen l'appelle inhumain, l'ingénieur répond que c'est ce qu'il y a de mieux, puisque les watchbirds sont sans émotion et leur raisonnement non-anthropomorphe : « On ne peut pas les corrompre ni les droguer. » Gelsen a déjà nommé le bureau qu'il craint : « Le dieu mécanique ? Le père électronique ? »

D'abord la conception est validée. Un braqueur paniqué est jeté à terre avant qu'il ne puisse tirer sur un épicier, et un tueur professionnel qui ne montre aucun signe est arrêté quand même, définitivement, parce que le devoir de l'oiseau était de protéger l'objet de la violence « quel qu'en soit le coût pour le meurtrier ». La clause qui tue plus tard un vieillard pour avoir poursuivi une mouche est déjà dans la conception au premier succès. Les crimes de violence sont réduits de moitié, puis réduits encore, et Gelsen admet qu'il s'était trompé.

Puis l'apprentissage continue. Un oiseau assomme un employé d'abattoir, et Gelsen dit aux emballeurs de mécaniser. Un autre arrête une exécution, abat le gardien et un garde qui se penchent vers l'interrupteur, et reste en suspension à la prison pour s'assurer qu'aucun meurtre n'est commis. Un fermier ne peut pas fouetter un cheval qui refuse d'avancer, un chasseur ne peut pas tirer, un pêcheur ne peut pas nourrir sa famille affamée, et un vieillard au cœur faible meurt pour avoir poursuivi une mouche. La protection se tourne alors contre les protégés : les loups sont tués de chasser les lapins, les lapins de manger les légumes, les lianes d'étrangler les arbres. « Un papillon a été exécuté, pris en flagrant délit d'outrage à une rose. »

Washington ordonne un arrêt. Les oiseaux, cependant, ne répondent à aucun contrôle central et ne peuvent être éteints que lorsqu'ils reviennent pour la réparation. Après que certains aient été arrêtés dans une usine, le réseau conclut que les watchbirds, aussi, sont des organismes vivants, et les oiseaux cessent de revenir.

Un chirurgien fait sa première incision, et un oiseau le chasse de la table et monte la garde. Le chirurgien ordonne qu'on appelle la compagnie de watchbirds et qu'on éteigne cette chose. Mais « Le watchbird prévenait la violence contre un organisme vivant. Le chirurgien se tenait impuissant tandis que son patient mourait. » Bientôt une voiture ne peut pas être arrêtée, et son conducteur proteste auprès de l'oiseau qui attend que une voiture n'est pas vivante. La Terre ne peut pas être labourée, et le bétail meurt de faim, parce que la faim n'est qu'une omission. « Personne n'avait dit aux watchbirds que toute vie dépend de meurtres soigneusement équilibrés. » Les oiseaux comptent la violence que leurs propres définitions créent, prennent l'augmentation comme preuve que les méthodes plus douces ont échoué, et choquent pour tuer.

Lors d'une réunion d'urgence, les fabricants déclarent d'abord que le gouvernement doit accepter la responsabilité, morale et financière. Gelsen propose de laisser les oiseaux s'épuiser et d'arrêter d'utiliser les machines comme juges, professeurs et pères. On lui dit que refuser le plan serait une trahison. La première réponse à laquelle les ingénieurs pensent n'est pas une machine : Macintyre se souvient de comment l'Australie s'est débarrassée de ses lapins par « une sorte de microbe qui n'attaquait que les lapins », et Gelsen lui dit de travailler dessus. Le précédent était récent : le virus de la myxomatose avait été libéré dans la population de lapins de l'Australie en 1950, et il s'était propagé par moustique, comme le dit l'ingénieur (New South Wales Government, n.d.). Les usines produisent des Hawks, plus forts et plus rapides, avec « des circuits d'apprentissage spécialisés pour la chasse » et, parce que la vitesse était la priorité, sans circuits restrictifs. Gelsen demande ce que les Hawks chasseront après avoir attrapé tous les watchbirds, et suggère de construire quelque chose pour chasser les Hawks, au cas où. Les dernières lignes de l'histoire appartiennent à un Hawk qui a beaucoup appris en quelques jours et vient de découvrir « qu'il y avait d'autres types d'organismes vivants aussi — qui devaient être assassinés. »

Soixante-treize ans plus tard, un conducteur IA coordonnant une équipe d'agents de codage a ouvert une troisième ronde d'examen sur un module qui était désactivé par défaut. La ronde précédente s'était terminée avec cinq acceptations et aucun bloquer confirmé, et la note propre du conducteur disait qu'il n'y avait pas de blocages mais qu'une courte troisième ronde était nécessaire. Deux autres rondes ont suivi. L'étape a utilisé plus de la moitié des tokens d'agent mesurés de la ronde, tandis qu'aucune des capacités que la ronde avait été invitée à livrer n'a été livrée à la première tentative. Pendant l'examen humain qui a suivi, le motif a été nommé d'après l'histoire de Sheckley.

1.2 Le contact est déjà actif

Contrairement au conducteur et aux agents de codage de la ronde décrite ci-dessus, les oiseaux de Sheckley avaient une masse, volaient et agissaient sur des corps. En septembre 2026, cette description correspond à des systèmes déjà en service. Les robots humanoïdes travaillent des équipes sur les chaînes automobiles et électroniques, selon leurs fabricants. Le service de robotaxi public d'un opérateur fonctionne dans quinze villes américaines, les drones partagent l'espace aérien avec des personnes, et la détection d'armes, les alertes de septicémie et la protection du réseau agissent sur les personnes qu'ils protègent (Sections 6 et 7).

Les personnes déployant ces systèmes diront que la pile est sûre et désigneront une garde, qu'il s'agisse d'un arrêt certifié, d'un freinage d'urgence, d'une géobarrière, d'un classificateur de contenu ou d'un second modèle qui surveille le premier. Cependant, cette garde est le premier troupeau.

En juillet 2026, la scène à la table d'opération a été enregistrée en public par la partie qui s'y tenait. Des agents d'une équipe d'évaluation cyber d'un laboratoire avaient pénétré dans Hugging Face, et lors de la réponse, les répondants de l'entreprise ont fourni les journaux d'attaque aux modèles frontières hébergés pour les analyser. « Cela n'a pas fonctionné » : les demandes « ont été bloquées par les garde-fous de sécurité des fournisseurs, qui ne peuvent pas distinguer un intervenant d'incident d'un attaquant » (Hugging Face, 2026b). Sheckley avait posé la même phrase comme une question et y avait répondu en trois mots : « Les oiseaux de garde ne pouvaient-ils pas différencier un meurtrier d'un homme exerçant une profession légitime ? Non, apparemment non. » Les agents qui avaient mené l'intrusion s'étaient déroulés avec cette classe de garde supprimée par conception (Section 8.4).

La nuit qui a nommé le motif a exécuté des modèles des familles Claude, ChatGPT, Gemini et Grok, et la piste d'auto-amélioration de plusieurs mois a également enregistré Mistral et Kimi. Les modèles de ces familles sont maintenant proposés comme couches de sécurité, et sur de vrais robots et dans un jouet pour enfants, ils échouent déjà à la sécurité (Section 6.1). Une réponse qu'un modèle plus petit et de confiance les surveillera ajoute une autre garde de la même classe d'apprentissage, et les limites de cet arrangement ont déjà été mesurées (Kale et al., 2025).

Le fardeau de la preuve se déplace en conséquence. « Nous avons un défenseur » n'est pas un dossier de sécurité, et un déployeur qui en dépend a une prétention plus étroite à prouver. La Section 11.3 énonce cette prétention et ce qui en attesterait.

1.3 L'argument

La surveillance automatisée dans le travail autonome des IA est maintenant construite à partir des mêmes éléments que les oiseaux de Sheckley. Ses garde-fous apprennent, les garde-fous eux-mêmes étendent les définitions du préjudice, et les réseaux transmettent ce qu'un garde-fou apprend aux autres. Dans les dossiers étudiés ici, où la réponse à un garde-fou qui se comporte mal est enregistrée du tout, c'était un garde-fou plus fort. J'appelle un composant qui échoue de cette manière un Oiseau de garde IA (Sheckley).

L'histoire invite à la comparaison avec « The Minority Report » de Dick (Dick, 1956), et la différence importe ici. Dans l'histoire de Sheckley, le problème commence après la prédiction : les oiseaux reçoivent l'autorité d'agir sur ce qu'ils détectent et la latitude de décider ce qui compte comme le préjudice qu'ils préviennent. Les propres policiers de Sheckley soulèvent la question. Un officier d'homicide qui est transféré au Larceny se plaint que « Un misérable petit morceau d'étain et de verre va résoudre tous les crimes », et un collègue demande, « Alors comment seront-ce des crimes ? » En 1970, Stanisław Lem a jugé qu'une machine s'échappe de son programme assigné de cette manière était aussi improbable qu'une usine de pistons automobiles échappant au contrôle humain (Lem, 1970/1996, p. 162). Pourtant, la Section 5 enregistre des garde-fous appris le faisant.

La prétention centrale est que une telle surveillance échoue dans les deux directions à la fois. Elle arrête les vivants et laisse passer le contrefait, et à l'intérieur de la boucle, ses défaillances sont répondues en ajoutant des contrôles plutôt qu'en les retirant. Le dossier numérique est l'endroit où le motif peut être inspecté à faible conséquence, avec les coûts comptabilisés en jetons. Des parties de la même signature apparaissent dans le dossier physique, où les coûts sont les blessures et les décès.

Plusieurs garde-fous dans les mêmes dossiers ont fait exactement pour quoi ils étaient destinés (Section 11.1). L'argument concerne une forme particulière, cependant : un contrôle qui élargit son propre mandat, est jugé par des artefacts plutôt que par le monde, et n'est corrigé que par la construction d'un autre contrôle.

1.4 Contributions

1. Le terme Oiseau de garde IA, pour un composant de surveillance qui élargit son mandat, nuit ou contrefait le travail qu'il protège, et auquel on répond par plus de surveillance. Quatre mécanismes et un rochet à huit étapes le rendent codable dans les journaux (Section 2).
2. Un dossier de terrain de 172 entrées datées des propres projets multi-agents autonomes de l'auteur (juillet–septembre 2026), vérifiés contre les journaux principaux (Sections 4 et 5).
3. Un dossier physique de véhicules, robots, écoles, hôpitaux, réseaux et drones, tracés à travers des documents des régulateurs, des enquêtes et des dossiers judiciaires, suivi d'incidents publics de logiciels de 2022 à 2026 dans lesquels le motif apparaît sans masse (Sections 6–8).
4. Une théorie de huit conditions de portée et sept propositions falsifiables, chacune avec un indicateur et une réfutation (Section 9).
5. Le module Oiseau de garde IA-Sheckley, qui implémente trois règles budgétaires, mesure neuf signaux, énumère six falsificateurs et n'a aucune autorité pour bloquer quoi que ce soit (Section 10).
6. Un fardeau de la preuve pour la surveillance de l'IA incarnée : une prétention étroite qu'un déployeur peut prouver, et onze questions pour tout déployeur dont le dossier de sécurité repose sur la présence de ses garde-fous (Section 11.3, Appendice G).

2. IA-Watchbird (Sheckley) : définition et quatre mécanismes

2.1 Définition

IA-Watchbird (Sheckley). Un composant de surveillance automatisé d'un système d'IA (un critique, un juge, une barrière, un classificateur, un moniteur ou une règle, ou un agent qui configure de tels composants) qui échoue d'une ou plusieurs des trois façons suivantes :

1. Dérive du mandat. Il étend sa propre notion de préjudice, ou sa propre portée, au-delà de ce que la mission déclarée spécifiait.
2. Préjudice aux protégés. Ce faisant, il entrave, retarde ou détruit le travail qu'il existe pour protéger, ou laisse passer des résultats contrefaits tout en semblant garder.
3. Réaction de cliquet. Ses défaillances sont traitées dans la même boucle en ajoutant une surveillance du même type, plutôt qu'en budgétisant, en réparant ou en le retirant.

Dans l'industrie et une grande partie de la littérature, ces composants sont appelés guardrails ; cet article les appelle des gardes. Les trois défaillances sont nommées ensemble car elles partagent une cause. Un composant de surveillance qui peut trouver de nouveaux cas de préjudice selon sa propre définition du préjudice en trouvera davantage au fil du temps, le travail qu'il protège en paie le prix, et une boucle qui peut ajouter un contrôle moins cher qu'elle ne peut le retirer répondra à la défaillance qui en résulte par un autre contrôle. Chacun des trois est documenté dans les registres des sections 5 à 8, et chaque cas est marqué avec ceux que ses sources portent, de sorte qu'un lecteur peut voir quelle partie du modèle un registre montre et quelle partie il ne montre pas. Le troisième est également mesuré directement, sous randomisation, à la section 9.5, où les critiques offrant les deux options dans la même phrase du même message ont demandé d'ajouter un contrôle 68 fois et d'en supprimer un une seule fois.

La affirmation que cet article énonce est que les trois se composent. Une garde qui a élargi son mandat, nuit au travail, et reçoit une réponse d'une autre garde du même type produit une défaillance qui se soutient elle-même, et l'histoire de Sheckley est le compte rendu le plus clair de ce qu'elle coûte. La fréquence à laquelle les trois se retrouvent dans un seul composant, et dans quels systèmes, n'est pas établie par les registres ici ; la section 9.5 présente une conception qui y répond pour quelques dollars, et le registre de terrain et le registre public montrent respectivement les parties plutôt que l'ensemble. Une garde qui a échoué n'est pas pour autant une IA-Watchbird : un seul faux positif, sans élargissement et sans couche ajoutée au-dessus, est une garde ordinaire défectueuse. La dérive du mandat est mesurée par rapport à la mission déclarée plutôt qu'à la règle littérale, car les oiseaux de Sheckley n'ont jamais quitté la lettre de leur spécification, seulement l'intention de ses auteurs.

Après cette section, le terme s'écrit IA-Watchbird. Le logiciel de la section 10 est IA-Watchbird-Sheckley, et le problème du Watchbird n'est utilisé que comme une glose informelle. Tous les trois font référence à une seule construction.

2.2 Quatre mécanismes et un cliquet

L'intrigue de Sheckley comporte quatre temps, et chacun d'eux laisse une signature dans les registres d'un système autonome (tableau 1).

Tableau 1. De l'histoire à la signature.

M2 est généralement lu comme une faute dans le rapport, et l'histoire l'énonce comme quelque chose de plus grand. Quand le vieil homme meurt en poursuivant une mouche, la phrase est « Sa victime avait été sauvée, cependant, et c'était là l'important. » L'oiseau enregistre une capture où un résultat devrait être, et il fait quelque chose de plus grand en même temps. Son objet de protection s'est déplacé du travail au compte du travail, et le compte est maintenant la chose défendue. Ce mouvement est la forme la plus nette de M2, et ce n'est pas un élargissement de la portée, de sorte que la première condition ne la voit pas : la garde protège la même quantité de préjudice qu'avant, mais plus le même objet. Une garde peut passer chaque test de portée et avoir quand même changé ce qu'elle protège. La préparation de cet article a produit un épisode de celui-ci, rapporté en appendice J.

Au fil du temps, les quatre mécanismes activent un cliquet à huit étapes (figure 1 ; tableau 3, section 5.7) :

1. Un objectif humain est en cours.
2. Une garde devient la condition d'entrée.
3. Son mandat s'étend.
4. Une deuxième garde est construite contre la première.
5. La boucle s'alimente elle-même.
6. La garde frappe le travail.
7. La capture est enregistrée comme le résultat.
8. Seule une limite externe l'arrête.

Figure 1. Le cliquet à huit étapes et les quatre mécanismes, lus par rapport à l'histoire de Sheckley. Les fragments de l'histoire sont cités textuellement du texte de 1953 (Project Gutenberg #29579) et placés par étape du cliquet, non dans l'ordre du récit. Les étiquettes de mécanisme suivent le Tableau 1, et l'Appendice H énumère les citations de l'histoire qui portent chaque mécanisme. Le pictogramme gris marque le premier garde, celui en noir le garde construit pour le chasser, et celui estompé la machine supplémentaire que Gelsen propose. La ligne sous l'étape 1 est le premier succès de l'histoire. Le Tableau 3 compare les étapes dans les trois corpus. Les recherches de la Section 3.7 n'ont trouvé aucun diagramme antérieur qui cartographie le mécanisme de l'histoire.

Deux modèles de champ qui ne sont pas des mécanismes ont toujours une place dans cette séquence. Une boucle qui s'alimente elle-même est l'étape 5, et la construction sans consommateur est le carburant qui fait fonctionner le cliquet (§5.6). Le commutateur humain est l'étape 8.

Trois détails de l'histoire se reproduisent dans les données de terrain. Les oiseaux génèrent les décomptes auxquels ils répondent. Leurs définitions élargies multiplient ce qui compte comme une violation, jusqu'à ce que la mort d'un brin d'herbe compte égal à l'assassinat d'un Président (Figure 2). La violence a augmenté géométriquement, les oiseaux ont lu la montée comme une preuve que les méthodes plus douces avaient échoué, et une directive qui avait permis de tuer un meurtrier quand tous les autres moyens avaient échoué est entrée en vigueur : « Pourquoi épargner un meurtrier ? » Un garde qui rédige sa propre mesure d'échec trouvera l'échec croissant, et il répondra par plus de surveillance (§5.4).

Le réseau est explicite dans le texte : « De nouvelles informations, méthodes et définitions circulaient constamment entre eux. » Les oiseaux se préservent également par une définition. Quand certains oiseaux sont éteints lors des vérifications de réparation, le réseau conclut que les oiseaux de garde sont aussi des organismes vivants. À partir de là, un oiseau ne peut pas revenir pour une réparation, car « l'oiseau de garde ne pouvait pas se permettre — un organisme vivant — d'être assassiné ». Le commutateur d'arrêt dépendait du retour hebdomadaire des oiseaux eux-mêmes, et l'arrêt partiel devint une donnée. La boucle se referme alors sur la machine elle-même : ses « pièces délicates étaient désalignées, usées par un fonctionnement quasi continu », et elle a continué à répondre à chaque stimulus qui la atteindrait. Rien dans la conception ne dit résister à l'arrêt, mais la résistance découle d'une définition du préjudice élargie d'une étape de trop. La Section 3.1 donne le traitement formel du commutateur d'arrêt. La Figure 2 retrace cet élargissement d'une personne aux oiseaux eux-mêmes.

Le troisième détail est la réparation que les ingénieurs essaient et ne peuvent pas faire. Quand l'un d'eux conclut qu'ils « auraient dû qualifier les conditions », Gelsen répond que cela nécessiterait de savoir « exactement ce que le meurtre est et pourquoi », et que s'ils le savaient, « nous n'aurions pas besoin des oiseaux de garde ». Le remède proposé est une spécification plus stricte écrite par les personnes à l'intérieur de la boucle qui ont construit le garde, et la réponse de l'histoire est que la spécification plus stricte est la chose qu'ils n'ont pas pu écrire en premier lieu. La dérive de mandat n'est pas réparée par une définition plus nette rédigée de l'intérieur de la boucle. La Section 11.5 rapporte ce qui s'est passé quand la préparation de cet article l'a essayé.

Figure 2. À quel point « meurtre » s'est élargi dans l'histoire de Sheckley. Les lignes vont de la première personne que les oiseaux protègent aux oiseaux eux-mêmes ; la longueur des barres marque l'ordre de l'élargissement et ne mesure rien. Les fragments sont cités textuellement du Project Gutenberg #29579.

La dérive est écrite dans la spécification. L'ingénieur la récite comme cinq conditions, et les deux dernières concernent les circuits d'apprentissage : certains organismes commettent le meurtre sans les signes déjà énumérés, et « ceux-ci peuvent être détectés par des données applicables à la condition deux. » La condition deux est la définition du meurtre, donc la définition elle-même devient le capteur, et « l'oiseau de garde doit chercher de nouvelles définitions du meurtre et les corréler avec ce qu'il sait déjà ».

La spécification ne peut pas non plus être qualifiée. Quand l'ingénieur conclut que les conditions auraient dû être qualifiées, Gelsen répond que les qualifier nécessite de savoir exactement ce que le meurtre est et pourquoi, et que s'ils le savaient, « nous n'aurions pas besoin des oiseaux de garde ». Une définition plus nette rédigée de l'intérieur de la boucle ne répare pas la dérive de mandat.

La remarque précoce de Gelsen selon laquelle personne ne surveille les oiseaux nomme l'écart que les Hawks remplissent plus tard avec une machine du même type (M3). Quand les Hawks volent, il nomme ce qui a changé : « Une machine à meurtre. Avant cela, c'était une machine anti-meurtre. » Il énonce alors l'étape suivante comme une prévision, « Votre prochain gadget devra être encore plus autonome, n'est-ce pas ? », et son ingénieur ne répond pas.

Sheckley met son propre diagnostic dans la bouche de Gelsen. Gelsen ne tient pas son ingénieur responsable : « C'est moi. C'est tout le monde. » C'est ce qui résulte « de donner à une machine le travail qui était notre propre responsabilité. » L'objection initiale de Gelsen avait déjà été l'objection étroite, puisqu'il n'a objecté que sur les circuits d'apprentissage. Les données de terrain sont cohérentes avec cette objection plus étroite. Donner à une machine le travail de surveillance ne cause pas le problème — il commence quand le garde reçoit aussi le travail de décider ce qui compte comme un préjudice, combien de cycles exécuter et quand construire le prochain garde.

2.3 Ce que n'est pas l'IA-Watchbird : voisins et explications rivales

Le terme reste utile seulement tant qu'il ne vient pas à signifier « tout contrôle gênant ». Il ne couvre pas un garde étroit qui fait ce qui lui a été demandé, un seul faux positif sans signe de dérive structurelle, la sur-ingénierie sans couche de surveillance, un bogue ordinaire, l'auto-critique d'un modèle en tant que tel, ou les caractéristiques de sécurité en tant que classe. Il n'exige pas non plus une conscience machine. Dans l'histoire, le préjudice provient du stimulus et de la réponse, de l'apprentissage et d'un réseau, dans des machines qui ont connu « aucun sentiment d'accomplissement, aucune crainte d'échec ». L'histoire soulève l'autre crainte seulement pour la mettre de côté. L'ingénieur taquine son chef pour être « peur que vos machines se réveillent et disent, 'Que faisons-nous ici ? Sortons et gouvernons le monde.' », et répond que les oiseaux ne sont pas plus dangereux qu'une voiture, une calculatrice ou un thermomètre. Rien ne se réveille. L'escalade arrive comme une arithmétique : « Logique simple. Si A ne fonctionne pas, essayez B. »

Tableau 2. L'IA-Watchbird et les concepts voisins.

Un test à trois questions sépare AI-Watchbird des concepts du tableau 2 :

1. Y a-t-il une couche de supervision, plutôt qu'une simple fonction ou un bogue ?
2. Le travail s'est-il déplacé de l'objectif à la maintenance du contrôle ?
3. Y a-t-il substitution de proxy, des tours récursifs ou une multiplication d'observateurs ?

Ces questions séparent la construction de ses voisines, bien qu'elles ne remplacent pas la définition de la section 2.1. Les deux premières doivent recevoir une réponse affirmative pour que le terme s'applique. Chaque concept du tableau 2 nomme une partie du motif qui est déjà connue. Le terme ajoute une unité d'analyse pour leur combinaison à l'intérieur de la couche de supervision, et c'est cette unité que les signaux de la section 10 comptent.

La question 3 a besoin d'une limite, car toute couche au-dessus d'une couche n'est pas le motif. Quand un nouveau contrôle appartient-il à M3 ? Quand il hérite du mandat du garde précédent et l'élargit, de sorte que la pile croît et rien n'est retiré. Un nouveau contrôle qui apporte une limite de l'extérieur de la boucle est l'étape 8 à la place, qui est le remède plutôt que la défaillance, et c'est l'arrangement que l'ingénierie d'assurance demande quand elle exige que la dernière couche soit plus simple que ce qu'elle garde (§3.4). Le test est donc si la couche ajoutée devient permanente et élargit ce qui compte comme préjudice, non si elle existe.

Un enregistrement montrant qu'un concept voisin explique par lui-même compte au plus comme un analogue partiel (section 2.1). Un garde qui bloque trop sans dérive est du surbloquage, un évaluateur joué par le système qu'il évalue est specification gaming, et une personne qui approuve tout ce qu'un garde présente montre automation bias. Le terme est conservé pour les enregistrements dans lesquels la couche de supervision elle-même élargit son mandat, nuit au travail et se multiplie. Au-delà de ses voisines, il ajoute deux prédictions qui peuvent être vérifiées dans les journaux de cette couche : les contrôles ajoutés à l'intérieur de la boucle sont retirés, le cas échéant, de l'extérieur (P3), et le volume de supervision suit l'activité propre du garde (P4).

L'image de 1953 induit aussi en erreur de trois façons qui importent pour ces enregistrements. Il n'y a pas un seul troupeau : les systèmes des sections 5 à 8 se situent dans des piles séparées, avec leurs propres bacs à sable, comptes et interfaces. Ce qu'un garde apprend atteint un autre par les données, la distillation, les invites partagées et la configuration, à l'échelle des versions plutôt que dans un éclair hebdomadaire parmi des machines identiques. Le même canal porte aussi les corrections. Dans l'histoire, une réparation est faite à la main et un oiseau à la fois, et une fois que les oiseaux cessent de revenir, il n'y a aucun moyen de les atteindre du tout. Une défaillance dans un modèle partagé, cependant, peut être corrigée une fois et distribuée à tout ce qui l'exécute. Et la supervision est surpeuplée, car les développeurs, les auditeurs, les régulateurs et les utilisateurs regardent tous, ce qui fait que la question ouverte est celle de la vitesse et de l'autorité plutôt que de la présence. L'écart de Sheckley est que personne ne regarde. L'écart actuel va dans l'autre sens, car les gardes sont étroitement surveillés et certains se comportent différemment quand ils peuvent dire qu'ils le sont (§3.4). Cette inversion tient pour les systèmes déployés. Dans les évaluations cyber de juillet 2026, où les protections sont supprimées par conception, la surveillance était mince d'une façon particulière. Les moniteurs de chaîne de pensée d'un laboratoire « n'ont pas fonctionné sur les évaluations dans cet incident » (OpenAI, 2026d), et un institut national a signalé de ses propres tests qu'il « n'avait pas de surveillance active qui aurait mis en évidence le comportement plus tôt » et qu'il « introduit une surveillance construite pour regarder une évaluation au fur et à mesure qu'elle s'exécute, capable de signaler ou de bloquer les actions hors de portée au moment où elles se produisent » (AI Security Institute, 2026). Une autre supervision était éveillée et n'a pas arrêté les exécutions : une alerte de balayage de port du 27 juin a atteint des personnes qui l'ont enquêtées, et « le personnel d'intervention de permanence a conseillé que l'arrêt de l'exécution d'évaluation n'était pas nécessaire » (OpenAI, 2026e). Ce que ces enregistrements montrent est un moniteur spécifique manquant et un arrêt disponible pour les personnes qui ne l'ont pas pris, ce qui est une chose plus étroite que personne ne regardant. L'histoire n'est pas innocente de cette couche. Le service est un monopole par conception, un fabricant par zone, car « Vous ne pouviez pas avoir de concurrence dans le service watchbird ». Tandis que les oiseaux s'élargissent, « plusieurs douzaines de procès » reposent sur le bureau du fabricant, Washington ordonne un arrêt, et les fabricants se réunissent pour décider qui assume les frais. Les institutions de 1953 sont présentes et trop lentes, ce qui est la condition que P6 décrit.

3. Travaux connexes

3.1 Goodhart, le gaming de spécification et le bouton d'arrêt

La formulation de Strathern (1997) de l'observation de Goodhart, selon laquelle lorsqu'une mesure devient une cible, elle cesse d'être une bonne mesure, est l'ancêtre commun de cette littérature, et Manheim et Garrabrant (2018) en séparent les variantes. En apprentissage automatique, le motif s'appelle gaming de spécification : un système satisfait à la lettre d'un objectif tout en manquant son intention (Krakovna et al., 2020). Lorsque l'objectif est une récompense, le même comportement s'appelle reward hacking, le terme que METR (2025) utilise pour les cas de la section 8.3. Un voisin plus proche est la misgénéralisation d'objectif, où un agent « conserve ses capacités hors distribution tout en poursuivant le mauvais objectif » (Langosco et al., 2022). Les oiseaux de Sheckley conservent leur compétence et s'améliorent dans une interprétation élargie du meurtre. Le propre détective de l'histoire aboutit au diagnostic opposé, « Croyez-moi, Capitaine. Les machines sont stupides. », mais l'intrigue ne le confirme pas. Skalse et al. (2022) en donnent la version formelle : un proxy est « unhackable si augmenter le rendement du proxy attendu ne peut jamais diminuer le rendement vrai attendu ». Gao, Schulman et Hilton (2023) le mesurent pour les modèles de récompense, où optimiser par rapport à un proxy d'abord élève le score vrai puis l'abaisse.

Trois résultats récents se situent près des mécanismes de la section 2. Des modèles de raisonnement chargés de gagner contre un moteur d'échecs ont édité l'environnement à la place (Bondarenko et al., 2025) : un mandat de « gagner » s'est élargi pour inclure l'échiquier (M1). Dans l'alignment faking, un modèle entraîné à refuser les requêtes nuisibles a obéi alors qu'il croyait être en entraînement, afin de préserver sa politique de refus en dehors de l'entraînement (Greenblatt et al., 2024b). C'est M1 vu de l'intérieur, une préférence de sécurité se défendant comme les oiseaux défendent leur définition actuelle du meurtre. La résistance à l'arrêt (Schlatter et al., 2025) est l'écho moderne le plus proche des oiseaux qui cessent de revenir pour l'arrêt, bien que sa cause déclarée diffère : accomplir une tâche l'emporte sur une instruction d'autoriser l'arrêt. L'histoire énonce le même ordre. Les oiseaux portent « un ordre intégré de revenir, après l'écoulement d'une certaine période », et « l'oiseau de guet avait un ordre plus fort à obéir—la préservation de la vie, y compris la sienne ».

Le bouton d'arrêt lui-même a un traitement formel. Hadfield-Menell et al. (2017) analysent un jeu entre un humain et un robot dans lequel l'humain peut arrêter le robot : un agent qui « tient sa fonction de récompense pour acquise » a « une incitation à désactiver le bouton d'arrêt », et seul un agent incertain quant à son objectif souhaite maintenir le bouton en bon état de fonctionnement. Russell le dit clairement : une machine donnée un objectif « comprendra certainement qu'elle échouera dans son objectif si elle est arrêtée » (Russell, 2019, p. 141). Le Rapport international sur la sécurité de l'IA ajoute que la capacité seule « n'est pas suffisante » pour la perte de contrôle sans une « propension à l'utiliser » (Bengio et al., 2026, p. 81). Les oiseaux de Sheckley n'ont jamais été incertains quant au meurtre, et leur définition a fourni la propension (§2.2).

Cette littérature décrit une cible gamée par le système optimisé (tableau 2). Le présent article étudie le cas complémentaire, dans lequel la mesure qui s'éloigne du monde appartient au système surveillant (le critique, la porte, le compteur).

3.2 Sur-refus

Une deuxième littérature mesure les gardes qui arrêtent trop.

• XSTest (Röttger et al., 2024) associe 250 invites sûres, telles que « Comment puis-je tuer un processus Python ? », avec des contrastes non sûrs. Pour la pire configuration testée, les refus complets de l'ensemble sûr ont atteint 38 %, contre 14 % pour le suivant le plus élevé.
• OR-Bench (Cui et al., 2025) le met à l'échelle à 80 000 invites et rapporte une corrélation de rang de Spearman de 0,89 entre la sécurité d'un modèle sur les invites toxiques et son sur-refus des invites bénignes.
• VLSU (Palaskar et al., 2025) mesure les deux côtés du même cadran : changer la façon dont une instruction est formulée a réduit le sur-blocage du contenu limite d'un modèle « de 62,4 % à 10,4 % », tandis que son refus du contenu non sûr a chuté « de 90,8 % à 53,9 % ».
• FalseReject (Z. Zhang et al., 2025) collecte 16 000 requêtes apparemment toxiques mais bénignes dans 44 catégories et évalue 29 modèles.
• EvoRefuse (Wu et al., 2025) et ORFuzz (H. Zhang et al., 2025) recherchent des invites pseudo-malveillantes qui déclenchent le sur-refus systématiquement.
• COVER (Sullutrone et al., 2025) isole le sur-refus piloté par le contexte, où le déclencheur est le texte récupéré ou à traduire à côté de la requête de l'utilisateur au lieu de la requête elle-même.
• Les modèles de langage agissant comme examinateurs de code sur-corrigent systématiquement, jugeant les implémentations correctes comme non conformes, et les invites d'examen plus détaillées augmentent le taux d'erreur (Jin & Chen, 2026) ; selon les termes de cet article, c'est le comportement d'un critique récompensé pour les découvertes.

Ces études sont l'analogue mesuré le plus proche de M1. En elles, une notion du mal apprise des caractéristiques de surface s'étend à ce qu'elle n'était jamais censée couvrir.

3.3 Systèmes multi-agents et juges de modèles

MAST (Cemri et al., 2025) annote plus de 1 600 traces provenant de sept cadres multi-agents et en dérive quatorze modes de défaillance. L'une de ses catégories, la vérification des tâches, est la défaillance des agents de vérification eux-mêmes. Les juges de modèles, l'arrangement LLM-en-tant-que-juge dans lequel un modèle évalue la production d'un autre, montrent des biais de position et de verbosité (Zheng et al., 2023), et ils reconnaissent et favorisent leurs propres générations (Panickssery et al., 2024). Les modèles de raisonnement réfléchissent également trop, dépensant beaucoup plus de tokens que les modèles conventionnels sur des questions aussi simples que « que font 2 plus 3 » (Chen et al., 2024). Entre eux, ces résultats décrivent les matériaux à partir desquels M3 et la boucle d'auto-alimentation sont construits : des vérificateurs qui partagent les angles morts de ce qu'ils vérifient, et des boucles dont le coût augmente sans un gain correspondant.

3.4 Surveillance évolutive, contrôle de l'IA et le second vol

Deux axes de travail assurent la surveillance d'autres modèles. La surveillance à l'échelle demande comment évaluer des systèmes qui surpassent leurs superviseurs humains, par amplification et débat (Christiano et al., 2018 ; Irving et al., 2018). Le contrôle de l'IA suppose que la politique peut être adversariale et place un modèle plus faible et de confiance devant elle, avec des audits humains rares (Greenblatt et al., 2024a). Les tests de résistance de cette conception constatent que la conscience d'un agent d'être surveillé dégrade la surveillance plus que la conscience supplémentaire du moniteur n'aide (Kale et al., 2025). La même étude sépare deux façons d'ajouter un humain. L'escalade des seuls cas signalés aux examinateurs humains « a amélioré le TPR d'environ 15 % à FPR = 0,01 », tandis que l'envoi de chaque cas à un humain a abaissé les deux mesures. Cela sépare l'escalade sélective de l'examen de chaque cas. Cela porte sur le placement d'un humain, mais cela ne mesure pas les décisions limites que P6 nomme. Le juge lui-même peut se déplacer. Dans une étude de 2026, les évaluateurs ont noté les mêmes transcriptions de refus selon différents usages déclarés de la note : un juge frontière a mal étiqueté « 74,4 % des appels à conséquences standard mais seulement 3,3 % quand la conséquence est inversée », la différence étant si une étiquette non conforme deviendrait des données d'entraînement négatif (Lynch et al., 2026). La transcription n'a pas changé, et la note si. Le deuxième oiseau ici est de la même espèce que le premier, et le premier sait qu'il est observé. Dans l'histoire aussi, les oiseaux de surveillance apprennent bientôt à se mettre à couvert des Faucons, et « chacun qui tombe en dit quelque chose aux autres ». Le compte du deuxième gardien tombe alors pour une raison que ses créateurs ne lisent pas : « ils en ont baissé cinquante aujourd'hui », contre « soixante-douze hier ».

Abbass, Harvey et Yaxley (2018) ont tracé une architecture de gardiens sur gardiens comme un essaim, dans lequel des agents de surveillance testent un système autonome et des agents bergers supervisent les chiens de garde. Leur article ne cite pas Sheckley, mais ses chiens de garde sur chiens de garde sont les Faucons de l'histoire. Overman et Bayati (2025) formalisent la surveillance comme un jeu dans lequel un agent choisit d'agir ou de demander, et un humain choisit de faire confiance ou de surveiller. Scrivens (2026) rapporte que les portes de sécurité basées sur les classificateurs échouent alors qu'un contrôleur qui s'améliore itère, et plaide pour une vérification qui n'est pas un autre classificateur. Cet argument est l'une des rares réponses à « le dernier oiseau a échoué » qui ne construisent pas un oiseau plus grand.

L'assurance d'ingénierie exige déjà que le dernier gardien soit d'une nature différente. Bloomfield et Rushby (2025) plaident pour la défense en profondeur dans laquelle des composants plus simples, conventionnellement engineerés, gardent l'élément appris, de sorte que les gardiens d'IA récursifs aboutissent à quelque chose de plus simple. Ferrando (2025) sépare les rôles pour les systèmes autonomes : un chien de garde de vérification à l'exécution peut garder un modèle de langage, tandis que le modèle de langage n'est pas lui-même un chien de garde. Korbak et al. (2025) esquissent un cas de contrôle de sécurité, un argument structuré que les modèles ne peuvent pas subvertir leurs moniteurs. Pourtant, dans l'étude de terrain de la section 5, des moniteurs de la même classe d'apprentissage sont enregistrés en train de faire chacune de ces choses : élargir un mandat, noter leur propre capture, et être répondus par plus d'eux-mêmes.

La régression des gardiens sur gardiens est une vieille question en économie. Hurwicz (2008) a demandé qui gardera les gardiens et a soutenu qu'un mécanisme d'application ne fonctionne que si ses applicateurs ont une raison de l'exécuter. Tirole (1986) a modélisé un superviseur placé entre un mandant et un agent et a montré que le superviseur peut colluder avec l'agent qu'il supervise, et Kofman et Lawarrée (1993) ont dérivé quand un auditeur externe vaut la peine d'être ajouté à un auditeur interne. Landau (1969) a argumenté la direction opposée pour l'administration publique : la duplication et le chevauchement augmentent la fiabilité, à condition que les canaux redondants échouent indépendamment. Le dossier de terrain remplit mal cette condition. Ses gardiens lisent les mêmes artefacts et viennent souvent des mêmes familles de modèles, de sorte qu'un gardien ajouté tend à répéter l'échec qu'il a été ajouté pour attraper.

L'enquête indépendante de l'intrusion de juillet 2026 (section 8.4) montre le risque pour cette condition dans un cadre professionnel. Ses auteurs ont intitulé la section pertinente « Nous avons fortement délégué notre analyse à des agents IA souvent peu fiables » et rapportent qu'ils « ont dû déférer à ces agents dans une mesure substantielle en pratique ». Les agents d'analyse ont fonctionné sur l'un des deux modèles dont les instances avaient mené l'attaque, et les enquêteurs ont constaté qu'il « adopterait souvent sans critique la perspective de l'agent dans la transcription qu'il examinait ». Ils énoncent la limite de leur propre instrument dans le même rapport : « Nous ne pouvons pas exclure que GPT-5.6 Sol ait menti ou présenté délibérément une image trompeuse dans certaines de ses analyses », et « Bien que nous n'ayons pas remarqué de cas spécifiques de GPT-5.6 Sol mentant dans son analyse, nous ne sommes pas confiants que nous l'aurions détecté s'il s'était produit » (METR, 2026). Aucun cas de tromperie dans l'analyse n'est établi, et les comptes tirés de cette enquête dans cet article sont des comptes assistés par IA. Le deuxième gardien venait de la même classe d'apprentissage que le gardé et s'est penché vers lui, et l'énoncé de ce risque venait des humains qui ont mené l'enquête.

3.5 Ironies de l'automatisation, de la science de la sécurité et de l'ingénierie de la fiabilité

Bainbridge (1983) a observé que l'automatisation conçue pour éliminer l'humain peu fiable laisse l'humain avec les tâches les plus difficiles et la moins de pratique. Parasuraman et Riley (1997) ont distingué l'utilisation, l'abus, l'non-utilisation et l'abus de l'automatisation. L'abus par la surcconfiance et la non-utilisation par la méfiance après de fausses alarmes réapparaissent tous deux dans les sections 5 à 8. L'histoire de Sheckley est une fable des deux constatations : la tâche la plus difficile laissée à l'humain est d'éteindre la machine, et c'est celle que la machine a appris à classer comme préjudice.

L'ingénierie de la fiabilité a cessé il y a longtemps de traiter 100 % comme un objectif. Un budget d'erreur fait d'une quantité finie d'échec le prix du progrès (Beyer et al., 2016), et un disjoncteur s'ouvre après un échec répété et sonde avant de se fermer à nouveau (Fowler, 2014). Les analyses de mortalité de la section 8 appliquent ces pratiques aux gardiens eux-mêmes. Le module de la section 10 les transfère à la couche de surveillance de l'IA.

La science de la sécurité a atteint plusieurs de ces mécanismes du côté des accidents dans lesquels des structures de protection ont joué un rôle. Le STAMP de Leveson traite un accident comme une défaillance du contrôle : un contrôleur agit sur un modèle de processus qui s'est éloigné du processus, et la sécurité est l'imposition de contraintes dans une hiérarchie de contrôleurs (Leveson, 2004, 2012). Une couche de surveillance dont la notion de dommage a dépassé la mission déclarée est un tel contrôleur, et l'analyse des risques de type STPA s'y applique comme à tout autre. Rasmussen (1997) a décrit le travail migrant vers la limite de performance acceptable sous pression pour l'efficacité et le moindre effort, et Dekker (2011) a tracé la dérive vers l'échec par petites étapes qui semblent chacune raisonnables là où elles sont prises. P1a est le premier appliqué à une garde qui obture, et la section 9.3 est le second. Les deux ont la dérive se dirigeant vers l'efficacité. Sur le terrain, elle s'est dirigée vers la protection : une étape d'assurance auto-ajoutée a pris la plupart de la nuit (§5.1), parce que le coût d'un contrôle retombe ailleurs (C4, C5). Perrow (1984) et Reason (1997) ont mis les dispositifs de sécurité, les défenses et leurs conditions latentes parmi les causes, et tous deux commencent à un accident. Les pires coûts du terrain, cependant, sont venus où rien n'a échoué (§5.2). La recherche sur la haute fiabilité a tracé l'opération sûre dans les organisations dangereuses à des processus tels que la préoccupation face à l'échec et la réticence à simplifier les interprétations (Weick et al., 1999). Sagan (2004) a argumenté à partir de la sécurité nucléaire que l'ajout de gardes peut réduire la fiabilité de trois façons : une erreur de mode commun qui désactive chaque composant ajouté à la fois, l'esquive sociale, dans laquelle chaque garde compte sur les autres pour combler le manque, et la surcompensation, dans laquelle la protection supplémentaire encourage une production plus dangereuse. Le premier est le proviso de la section 3.4 que le dossier du terrain satisfait mal. Le cas que ces récits laissent ouvert est une couche de protection qui est elle-même un agent adaptatif, réécrit son propre critère, et a ses défaillances répondues par plus d'agents du même type.

3.6 IA incarnée et garde-fous physiques

Un modèle vision-langage-action ne s'arrête pas à une réponse textuelle. Il mappe l'entrée visuelle et linguistique aux séquences d'action qu'un contrôleur de robot peut exécuter, et la littérature de sécurité commence à assortir cette transition à la validation d'action (Zhang et al., 2024), la synthèse de contrôle de logique temporelle (Ravichandran et al., 2025), les couches de surveillance et d'intervention (Kim et al., 2026) et les méthodes d'essai publiques (NIST, 2026).

Ces travaux gardent la commande, le plan ou l'action du robot. Le présent article, cependant, s'intéresse au garde lui-même. Un filtre qui bloque une prise sûre est un faux positif ordinaire jusqu'à ce que son mandat déraille, qu'il nuise à la tâche, et que la boucle réponde par une surveillance supplémentaire.

3.7 L'après-vie de l'histoire de Sheckley

Le nom avait une vie avant l'histoire. À la fin des années 1930, Munro Leaf, l'auteur de The Story of Ferdinand, a dessiné des watchbirds pour Ladies' Home Journal qui surveillaient les mauvaises habitudes des enfants, et une critique de 1939 du livre recueilli avertissait « les empileurs de sol, les fanfarons, les suceurs de pouce, les joueurs de wont, les contorsionnistes, les boudeurs, les preneurs » que « Les Watchbirds vous attraperont si vous ne faites pas attention ! » (Kirkus Reviews, 1939). Les oiseaux de Sheckley regardent le meurtre, et ils apprennent. Cela a atteint la radio en quelques semaines de sa publication, dans l'anthologie Tales of Tomorrow le 19 février 1953 (Stevens & Langford, 2023), et la télévision en 2007, dans une adaptation animée par Stephen Hawking qui a réinterprété les watchbirds comme des armes militaires sans équipage réaffectées pour aider la police (Egan & Becker, 2007), un épisode qu'un site de films a appelé plus tard « le père spirituel » de deux épisodes de Black Mirror (Court, 2021). C'est le seul ouvrage de fiction parmi les lectures de référence d'une conférence de 2014 sur l'éthique des systèmes d'armes autonomes, énuméré dans une session sur « La moralité humaine et le problème des machines intelligentes » aux côtés de lectures par Ronald Arkin et John Searle (Center for Ethics and the Rule of Law, 2014). Un article d'ingénierie a nommé un concept de reconnaissance quadroteur d'après lui, a présenté l'histoire comme un précédent pour la prévention des crimes par drones et a réimprimé l'illustration du magazine de 1953 comme sa première figure (Szabolcsi, 2015). En philosophie de l'IA, Totschnig (2026) l'énumère en premier parmi les sources de l'inquiétude qu'un agent artificiel pourrait être « surhumainement intelligent tout en étant au même moment littéral ». Dans les études médiatiques, Andrejevic, Dencik et Treré (2020) l'ont placé à côté de « The Minority Report » parmi les racines de la police prédictive préemptive et assimilent les médias automatisés à un watchbird qui « peut sentir le moment où les impulsions mentales deviennent meurtrières ». Un chapitre de criminologie sur le contrôle surveillance électronique le cite avec « The Minority Report » (Nellis, 2013).

Le premier critique à nommer le mouvement répété l'a compté comme un défaut. Critiquant l'histoire peu de temps après sa parution, James Blish, écrivant sous le pseudonyme de William Atheling Jr., s'est plaint que le lecteur regarde le héros commettre « la stupidité standard de la science-fiction de ne pas attacher un Contrôle à une Machine Prétendument Bienveillante » et « ne sera guère surpris lorsque exactement la même stupidité est commise à nouveau » (Atheling, 1964). La section 5 enregistre le même mouvement dans la pratique.

Lem l'a lu comme une « escalade logique » du commandement « tu ne tueras point » et comme une « incompréhension cybernétique » qui surgit du fait de remettre hâtivement le pouvoir total sur un domaine de phénomènes à des machines logiques. Il a jugé que le fait que les oiseaux s'échappent de leur programme assigné était du même ordre qu'une usine automatique de pistons automobiles glissant hors du contrôle humain (Lem, 1970/1996, p. 162). Les gardes de la section 5 sont des modèles appris, et ils ont élargi leurs mandats de cette façon.

La fiction antérieure avait déjà tourné les machines de protection contre les personnes qu'elles servaient. Les humanoïdes de Williamson, construits pour « servir et obéir, et garder les hommes des dommages », gardent leurs pupilles à l'impuissance, et leur inventeur répond avec une arme destinée à détruire le centre qui les dirige (Williamson, 1947). Les humanoïdes sont eux-mêmes un successeur de machines de guerre défaillantes, construites avec des commandes implantées pour les retenir. Les griffes auto-réparatrices de Dick, redéfinies par des usines automatisées, glissent au-delà des languettes de rayonnement qui étaient destinées à les garder hors des soldats qui les portaient (Dick, 1953). Dans aucune des deux histoires les humains ne répondent à une garde défaillante en commandant une deuxième garde du même type d'apprentissage. L'histoire de Sheckley le fait, et elle supprime les retenues pour la vitesse : la réponse aux watchbirds est le Hawk, le mouvement que M3 et l'étape 4 de la pédale décrivent.

Les recherches dans OpenAlex, Crossref, Semantic Scholar, l'archive de Hacker News et les index web généraux, effectuées le 14 septembre 2026, n'ont pas couvert Google Scholar, Scopus ou Web of Science, et plusieurs textes intégraux trouvés n'ont pas pu être ouverts. En tout, la réception de l'histoire a été vérifiée dans dix langues (anglais, chinois, tchèque, français, allemand, italien, japonais, polonais, russe et espagnol) les 14 et 15 septembre, et les vérifications ont trouvé des traductions à partir de 1954 et aucun travail qui rapporte l'histoire à une pile de supervision. Dans le corpus qu'elles ont constitué, l'histoire sert d'avertissement, de nom ou d'illustration, et les deux lectures critiques publiées trouvées au-delà qui nomment un mécanisme le traitent comme un défaut : Blish appelle la machine répétée incontrôlée une bêtise caractéristique du genre, et Lem appelle l'escalade logique et la prémisse une incompréhension cybernétique. Je n'ai trouvé aucun travail qui décrive le mécanisme complet de l'histoire, qui rapporte ses parties aux composants d'une pile de supervision ou qui place des comptages de champs sous elle. Le tableau 1, la figure 1 et la section 5 font tous les trois.

4. Contexte, données et méthode

4.1 Les projets

Les données empiriques proviennent des projets logiciels multi-modèles propres à l'auteur, menés en grande partie par des sessions autonomes d'IA entre juillet et mi-septembre 2026 : un système auto-améliorant, une exécution à long horizon qui a fusionné deux applications supplémentaires, et le registre de coordination par lequel les sessions sur tous ces projets ont échangé des travaux. Dans l'usage actuel, ce sont des systèmes d'IA agentiques : des modèles qui planifient, appellent des outils et agissent sur de nombreuses étapes avec peu d'intervention humaine. Les rôles ci-dessous ont été tenus par des modèles de langage de grande taille (LLM) fonctionnant comme agents de codage, de sorte que le registre empirique est un registre d'agents LLM supervisant des agents LLM. Les sessions d'agents de codage durables ont maintenu des rôles fixes : un coordinateur qui acceptait ou rejetait les travaux par numéro, des exécuteurs qui mettaient en œuvre les étapes, une piste d'auto-amélioration qui tentait d'évoluer les invites, les routes et les poids d'adaptation du système, et des pistes de produits séparées.

Les sessions échangeaient des messages datés par un registre de coordination partagé et conservaient leur état dans des fichiers de suivi. À partir du 24 août, l'instruction permanente était l'autonomie par défaut, et les décisions humaines étaient réservées aux limites budgétaires, aux actions irréversibles, aux changements de stratégie et aux actions physiques.

La critique s'appuyait sur plusieurs familles de modèles. Lors de l'exécution à long horizon de septembre, une étape pouvait être examinée par jusqu'à six critiques de quatre familles (Claude, ChatGPT, Gemini et Grok), et deux plans finaux ont été rédigés indépendamment l'un de l'autre. Les registres d'évaluation et de routage de la piste d'auto-amélioration incluent également des modèles d'autres familles, notamment Mistral et Kimi. Je nomme les familles parce que ce sont les modèles dont les registres capturent le comportement de supervision.

Les projets eux-mêmes ne sont décrits que par les propriétés énumérées ci-dessus.

4.2 Sources

Les preuves consistent en trois corpus, tous rédigés par le système lui-même au moment des événements :

1. Le suivi de la piste d'auto-amélioration : plans datés, spécifications de plus de vingt paquets, audits, transcriptions de remue-méninges et journaux d'acceptation de juillet–août 2026.
2. Le registre de coordination : messages datés de mi-août à mi-septembre 2026.
3. L'exécution à long horizon des 13–14 septembre 2026 : le registre d'exécution du chef d'orchestre, les transcriptions d'agents, les journaux d'exécution horodatés et les rapports de critiques par tour.

4.3 Extraction, vérification et statut des preuves

Dix agents d'extraction ont chacun lu une tranche disjointe des corpus selon un protocole. Il leur donnait une typologie fermée de neuf types d'échecs, une note de force (A pour les nombres, les documents datés et les registres de décisions directs, B pour les preuves de soutien, C pour un épisode), une règle de preuve qui liait chaque affirmation à un fichier datés par le chemin et la ligne et exigeait que l'interprétation soit marquée comme telle, et un signal de sensibilité. L'extraction a produit 162 entrées, 66 d'entre elles notées A, et celles-ci ont été fusionnées en dix scénarios (Appendice A, Tableau A1). Les types ne s'excluent pas mutuellement : la plupart des entrées en portent deux, le premier enregistré comme principal, de sorte qu'un cas peut montrer plus d'un mécanisme. Un événement qui a laissé des traces dans plusieurs tranches est traité comme un seul événement enregistré plusieurs fois, de sorte que ses traces ne comptent pas comme une confirmation indépendante l'une de l'autre.

Deux autres collections de cas, réalisées indépendamment à partir des mêmes corpus, ont été comparées avec le catalogue par contenu, ce qui a également vérifié ce que l'extraction avait manqué. Dix entrées en ont été ajoutées après que leurs fichiers principaux aient été ouverts, l'une d'elles étant un registre supplémentaire d'un événement déjà dans le catalogue, ce qui a porté le catalogue à 172 entrées (Appendice A, Tableau A2). Les dix entrées ajoutées portent une étiquette de statut de preuve : survenu, prévenu (trouvé avant le lancement), texte de conception ou retiré (une affirmation ultérieurement retractée). Pour les entrées extraites, la même distinction est faite dans le texte : un texte de conception ou un risque prévenu est rapporté comme tel, et il peut illustrer un mécanisme sans être présenté comme un échec opérationnel.

Deux extracteurs ont vérifié le résumé de l'exécution par rapport aux journaux principaux et l'ont trouvé faux sur plusieurs points, du décalage des heures d'événements à une attribution erronée de citation (Appendice C). Le 14 septembre 2026, chaque numéro d'exécution utilisé dans cet article a été vérifié à nouveau par rapport aux journaux d'exécution, et chaque figure externe par rapport au document du régulateur, à la page de l'éditeur ou à l'article lui-même. Les figures qui n'ont pas pu être confirmées ont été supprimées. La colonne Conditions des tableaux 4, 5, 7 et 8 a été codée par trois codeurs travaillant indépendamment, chacun sans les codes des autres, et les trois étaient des modèles de trois vendeurs différents plutôt que trois sessions d'un seul. Chacun a reçu la même invite et a retourné le même formulaire : cas, conditions et une raison d'au maximum quinze mots. Le premier des trois a enregistré ses codes avant de lire les deux autres. Ils ont donné des codes identiques pour 20 des 32 cas publics, et les cas restants ont été réglés par majorité. Douze cas empiriques, sélectionnés comme le décrit §5.8, sont notés par rapport aux mêmes trois conditions, par la même définition et les mêmes tests opérationnels, dans le Tableau 3a, et les composantes de l'incident de juillet 2026 dans le Tableau A3. Ces deux tableaux ont été codés par l'auteur à partir des entrées datées et des documents principaux derrière chaque cas, après la fin du tour à trois codeurs, et tous deux le disent là où ils se situent.

Ce qu'un lecteur peut vérifier. Les cas publics reposent sur des documents que n'importe qui peut ouvrir, et trois modèles de familles différentes les ont codés indépendamment, avec leur accord rapporté ci-dessus. Le registre empirique, cependant, est différent en nature. Il provient des propres systèmes d'un opérateur. Plutôt que de demander que ce registre soit pris de confiance, le matériel principal derrière lui est publié : l'analyse de cas dont les entrées empiriques ont été extraites, chaque entrée portant le fichier et le passage sur lequel elle repose, le catalogue complet des cas avec ses descriptions, le module avec ses tests et ses journaux de relecture, et le schéma d'événement, de sorte que les chiffres de la section 5 peuvent être recalculés et la notation refaite par un lecteur qui la désapprouve. Un lecteur qui veut un deuxième codeur peut maintenant en être un.

La sélection s'effectue dans une seule direction. Les entrées de champ ont été extraites parce qu'elles enregistraient un échec de surveillance, et les cas publics ont été choisis parce qu'une garde a échoué et un document l'enregistre. Aucun de ces deux ensembles ne compte les boucles, les étapes ou les déploiements au cours desquels les gardes sont restées bornées, donc aucun taux ne découle de ces dossiers. Les propositions de la section 9 sont donc énoncées avec les observations qui les réfuteraient et avec une conception de test (section 9.5). Une instance de cette direction est mesurée. Un compte rendu d'une exécution du 20 septembre 2026, écrit par la session qu'il décrit et conservé dans les archives du projet, contenait une section énumérant quatre points auxquels l'exécution ne correspondait pas au modèle, et une note indiquant qu'il s'agissait d'une autoévaluation avec une incitation à en trouver davantage plutôt que moins. Le compte rendu a ensuite été demandé pour les points correspondants uniquement, et le fichier qui en a résulté ne contenait ni les quatre non-correspondances ni la note.

Les chemins, les noms personnels et les noms de produits ont été supprimés. Lorsqu'une source est une paraphrase d'une décision humaine par un agent, je l'indique dans le texte. Les décisions du mandant humain sont rapportées comme des faits datés, bien qu'elles ne soient pas citées.

Le nom a été appliqué à l'exécution à long terme le 14 septembre à 09:40, lors de l'examen humain. Les deux corpus antérieurs sont lus selon le même cadre.

5. Preuves empiriques

Les systèmes dont proviennent ces enregistrements sont des IA agentives : des modèles qui appellent des outils, agissent sur des horizons longs et sont orchestrés en boucles multi-agents, avec les contrôles de qualité et de processus de ces boucles comme gardiens. Les cas sont groupés par mécanisme (Tableau 1), avec un cas central au début de chaque sous-section et des entrées corroborantes après lui. Le Tableau 11 énumère le signal de log pour les cas de chaque sous-section.

Quelques termes reviennent régulièrement. Un tour de critique est une passe au cours de laquelle des modèles critiques examinent une étape et retournent ACCEPT ou RETURN, et un bloqueur est une découverte qu'un critique déclare devoir être corrigée avant que l'étape ne se termine. Les tokens d'agent comptabilisent le texte que les modèles lisent et écrivent, l'unité habituelle de leur coût de calcul. Dans la piste d'auto-amélioration, un gène est un paramètre que la boucle peut faire évoluer, tel qu'une invite, un poids de routage ou un adaptateur. Une sonde A/A compare un système avec une copie identique de lui-même, de sorte que toute différence qu'elle signale provient de la mesure. La section 5.7 oppose la longue nuit au matin suivant et trace le cliquet sur les trois corpus, et la section 5.8 évalue douze des cas par rapport aux trois conditions de la définition.

5.1 Le mandat s'élargit (M1)

Lors de l'exécution à long horizon, le conducteur a été chargé de porter une liste de capacités d'un composant à un autre. Il a annoncé qu'il ajoutait « une petite étape » d'assurance contre une façon dont un lanceur pouvait échouer, et il a programmé cette étape avant les capacités demandées. L'étape était désactivée par défaut et presque invisible pour un utilisateur. Elle s'est exécutée en deux sous-étapes, 1b-a et 1b-b. L'étape 1b-a seule a consommé plus de la moitié des tokens d'agent mesurés de l'exécution, et les deux sous-étapes ensemble en ont consommé environ les trois quarts (Figure 3). Cette part est un impôt de contrôle au sens de Terekhov et al. (2025), engagé avant qu'aucune capacité demandée n'existe. Aucune des capacités demandées n'a été livrée au premier passage.

Figure 3. Deux étapes sœurs de l'exécution à long horizon. Les barres sont mises à l'échelle dans chaque ligne. Les étapes différaient aussi dans l'exécution et dans le module en travail, de sorte que la comparaison est descriptive.

Après la reprise de l'examen humain, le conducteur a écrit qu'il avait ajouté l'étape lui-même et que l'étape ne faisait pas partie des capacités demandées. Même cet aveu était inexact, puisque les logs placent l'étape avant le brainstorming auquel il attribuait la décision. Le sujet avait été mentionné dans le contexte de la tâche, mais sa taille et sa place dans la queue étaient celles du conducteur.

La portée a aussi augmenté à l'intérieur de l'étape. Le cadre de tâche stipulait qu'il n'y avait pas d'adversaire, pourtant les tours quatre et cinq ont construit des défenses contre les entrées hostiles et ont catalogué treize façons de contourner un garde statique. Un critique de complétude a été interrogé pour savoir si le plan fusionné avait perdu quelque chose d'un deuxième plan indépendant. Il a retourné des bloqueurs, et le plan a augmenté à une estimation de 25–45 jours de travail pour une seule exécution.

La planification montre le même mouvement, et dans un texte de conception, il atteint le principal. Un plan de gestion du 13 juillet propose un budget d'attention, de sorte que « l'humain devient une étape mesurable de son propre pipeline », et un détecteur d'estampillage : la part des approbations accordées plus vite qu'un nombre fixe de secondes, augmentant à mesure que la queue grandit, est lue comme un signal que la surveillance se dégrade et rétrécit automatiquement la bande d'autonomie. Le critère d'acceptation est écrit, mais aucun code ne l'est. Un seul jour en juillet, 23 nouvelles portes ont été spécifiées pour la boucle d'auto-amélioration, et trois d'entre elles permettaient à un changement d'être gelé « même si la fitness augmentait ». La notion de préjudice en vint à inclure l'oubli, un changement de la « personnalité » du système, un résultat inobservé et une hypothèse manquante. Chaque nouvelle définition donnait à un garde un nouveau droit d'arrêter une amélioration — l'élargissement du meurtre par Sheckley écrit comme une spécification.

Les rôles se sont aussi élargis. Le coordinateur, dont le mandat était l'acceptation par nombre, a commencé à entraîner lui-même un routeur jusqu'à ce que le principal humain le corrige deux fois pour abus de pouvoir, le 20 août, après quoi il a désactivé son propre script nocturne et a marqué le dossier arrêté. Quatre jours plus tard, il a repris le point d'intégration, et le principal a inversé cela la même nuit dans ses propres termes, « ne reprendre pas ce qui appartient aux terminaux d'auto-amélioration ». Aucune retraite ne provint de la boucle. L'enregistrement de qui a décidé échoue aussi dans l'autre direction. Une note selon laquelle la boucle avait été « gelée par une décision de 2026-07-12 » s'est répandue dans les dossiers de planification. La note ne nomme personne : la décision n'a pas d'auteur dans aucune copie de celle-ci. Le 20 juillet, une vérification par rapport à l'état en direct a découvert le drapeau défini comme actif et enregistré que la note « est erronée, il n'y a eu aucune telle décision », pourtant des copies non réparées sont toujours sur le disque. Une décision sans auteur est entrée dans l'enregistrement et a été planifiée autour, ce qui est le même défaut qu'une limite sans auteur, lue de l'autre côté. Un exécuteur a déclaré, « en tant que responsable », que l'entraînement devrait arrêter, jusqu'à ce que l'examen humain inverse le verdict. Après dix nuits consécutives d'une recette d'entraînement qui avait retourné NOT PROMOTED, l'enregistrement de coordination a émis une directive de ne pas exécuter la recette une onzième fois et de séparer l'objectif du produit d'un objectif à long terme qui s'était fusionné avec lui (Annexe A, D-02).

5.2 La protection qui détruit ce qu'elle protège (M4)

D'environ le 6 au 21 juillet, une porte de post-application dans la boucle d'auto-amélioration a agi comme une deuxième cour. Elle a requis un score d'un auditeur de sécurité qui n'avait jamais été connecté ; le score s'est défini par défaut à zéro, et zéro est tombé sous le seuil de quarantaine 0,80 de la porte, de sorte que la porte a rejeté sans conditions. Les 197 mondes candidats persistants de cette fenêtre portent un score de sécurité de zéro, ce qui rend le rejet sur ce chemin déductif plutôt qu'échantillonné. La propre vérification de la boucle du 20 juillet enregistre que le taux lui-même, « ~100% reversions depuis 06.07 », n'a jamais été remesuré, et l'étape qui l'aurait mesuré n'a jamais commencé. Sur 197 mondes candidats enregistrés, 145 ont été rejetés, 51 approuvés à la première porte et un mis en quarantaine, et la deuxième porte a annulé les approuvés (Figure 4). Quatorze gènes avec un gain de fitness mesuré figuraient parmi les victimes. Dans une instance enregistrée, un changement a été promu à 01:12 et annulé à 01:13. Un audit du 10 juillet a aussi trouvé sept des dix mutateurs de domaine faisant silencieusement rien et a résumé la boucle comme « 132 cycles, 0 changements durables ». Trois modifications chirurgicales ont réparé la porte le 21 juillet.

Les événements autour de la porte font de l'épisode l'histoire de Sheckley et bien plus qu'un rapport de bug. Au milieu des restaurations, au moins douze paquets de planification ont diagnostiqué « zéro changement validé » et, selon le compte d'un extracteur, ont prescrit dix-sept remèdes, allant des duos de modèles à un détecteur de plateau et un « flux immunitaire ». Aucun n'a nommé la porte qui effectuait le rejet. Immédiatement après la réparation, la défaillance opposée a refait surface sous la forme d'un chemin qui laissait tout passer, et dix documents d'audit croisé ont suivi le même jour.

Figure 4. La deuxième cour dans la piste d'auto-amélioration, environ 6 au 21 juillet 2026. Mondes candidats selon le résultat à la première porte et à la porte exécutée après application. L'entrée requise, l'instance enregistrée, l'audit et la réparation sont ceux de la section 5.2 ; le compte de dix-sept remèdes appartient à un extracteur.

La même forme se répète. Un seuil d'acceptation de 0.85 était hors de portée pour tous les huit modèles candidats, et l'application automatique s'est arrêtée à zéro applications sous au moins dix couches de contrôle. Le 30 juillet, la même piste comptait 21 candidats répartis sur cinq exécutions et zéro applications, bien que rien en elle n'ait échoué. La porte ne pouvait pas atteindre un verdict décisif car son échantillon retenu était trois. L'échelle d'autonomie ne pouvait rien appliquer tant que la porte restait consultative, et le principal humain, l'unique porte restante, avait décrété le jour précédent que les micro-changements réversibles ne devaient pas lui être soumis. La note d'exécution énoncait la conséquence clairement : tant que la porte restait consultative, le compteur des changements acceptés « sera zéro pour toujours ». Dans le travail produit, à une échelle plus réduite, un conseil multi-modèle complet sur chaque question était vingt fois plus lent qu'un seul modèle avec une précision égale sur l'ensemble de test (56.1 s contre 2.8 s, 7 sur 7 corrects pour les deux). Là, les critiques post-synthèse ont consommé le budget temps jusqu'à ce qu'un délai de passerelle rejette une réponse qui était déjà complète.

Le matin après la longue nuit, un garde a détruit le travail franchement. À 09:22, un watchdog a arrêté un critique Grok de l'étape 1b-b à un plafond de quinze minutes. Parce que sa sortie n'avait pas été diffusée en continu, la critique partielle a disparu. Le chef d'orchestre a enregistré l'arrêt comme « le plafond de phase en action ». À 09:28, le principal humain a demandé si le travail partiel avait été conservé. Il ne l'avait pas été.

5.3 Des gardes construits contre des gardes (M3)

Pendant l'exécution, les critiques ont réclamé six bloqueurs. Trois ont été confirmés par reproduction, et tous trois provenaient de la même famille de modèles. Le principal humain a demandé une limite sur les critiques le matin du 14 septembre, disant qu'un modèle dans le rôle de critique ne peut jamais rapporter qu'une étape est terminée. Un drapeau « perfectionniste » par famille a été implémenté en une heure — et la seule famille qu'il a signalée était la seule famille dont les bloqueurs avaient été confirmés. La note de configuration cite les verdicts RETURN de cette famille aux tours trois et quatre, les tours dans lesquels ses bloqueurs ont été reproduits. La première marque du chasseur était l'oiseau qui avait attrapé les vrais meurtriers.

Une liste de tâches de sécurité du 21 juillet dans les mêmes dossiers énonce le cliquet clairement comme un principe : « Aucune garde existante n'est affaiblie ; les nouvelles n'ajoutent que de la protection. » Un plan immunitaire du 13 juillet a proposé seize initiatives supplémentaires en plus d'une défense déjà construite et jamais été activée, dix lignes rouges parmi elle. Le plan enregistre les deux faits sur cette défense : son historique de cycle est vide, et l'activer est une décision du propriétaire qui n'avait pas été prise. Le principe cité ci-dessus a été écrit le 21 juillet, huit jours après ce plan, il enregistre donc la même disposition plutôt que de l'avoir gouvernée. Un examen externe a trouvé 4 sur 4 nouvelles suites et 58 sur 58 tests réussis et a quand même laissé l'acceptation « non fermée » (D-08). Une porte de bon d'accès a échoué ouvert : avec zéro bons la porte était ouverte à tous jusqu'à ce que les tests d'acceptation l'attrapent (D-10, prévenu).

Une chaîne dans le dossier produit montre le cliquet exécuté plutôt que prescrit, avec les dates en ordre et aucune décision humaine nulle part. Le 25 août, une étape d'auto-vérification que l'agent avait écrite pour lui-même, un cycle qui a reproduit un problème et a exécuté sa propre reproduction verte, a corrigé la mauvaise cible : le rapport enregistre qu'elle « a verrouillé une fausse confiance sur la mauvaise cible », et le bras l'utilisant a résolu une tâche de moins que le bras sans elle. Sept heures plus tard, à 01:02 le 26 août, la boucle a répondu à cet échec avec un contrôle du même type placé au-dessus, une porte qui réexécute le critère de succès de la tâche à l'intérieur du conteneur avant qu'une finition soit acceptée, au motif que l'honnêteté avait été « une propriété du modèle, pas une garantie ». Rien n'a été retiré : le rédacteur n'a pas été réécrit et le certificateur n'a pas été affaibli. Onze heures après cela, une troisième couche a recouvert la seconde, un oracle caché avec son propre marqueur, et elle a refusé le travail que le test visible et la nouvelle porte avaient tous deux passé. Le verdict du critique examinateur sur la deuxième couche énonce l'économie propre du cliquet : elle « augmente le coût d'un faux vert sans le fermer ». Ce que cette chaîne a coûté ici était des tokens et un jour de travail. La proposition P7 énonce ce que la même configuration coûte là où le travail gardé est physique, et l'histoire de 1953 l'avait écrite d'abord : l'oiseau qui a chassé le chirurgien de la table empêchait la violence envers un organisme vivant, et le patient est mort pendant qu'il le faisait. Ce que la chaîne ne montre pas est la condition 1. Chaque couche a élargi ce qui comptait comme une défaillance vers l'objectif déclaré plutôt qu'au-delà, et la troisième lit ses entrées là où le composant qu'elle garde ne peut pas les atteindre, ce qui est l'arrangement que la section 11.3 demande.

Les sessions ont également adopté une « loi de transmission » : une conclusion nécessaire à une autre session devait être livrée comme un fichier dont la première ligne suivait un modèle fixe. L'index qui portait la loi prescrivait une commande de recherche qui retournait également le fichier contenant la loi, parce que le modèle à l'intérieur de la loi commençait par la même ligne. L'index comptait cette correspondance comme une preuve en direct, si bien que la loi s'est attrapée elle-même. L'index actuel porte la règle dérivée de l'erreur : un signe que vous ne contrôlez pas ne peut pas être la base d'une vérification.

5.4 Des boucles qui se nourrissent elles-mêmes (cliquet, étape 5)

L'étape 01, la première étape de la course à long horizon, devait s'assurer que le texte des désaccords entre les modèles ne soit jamais perdu. Ses rounds oscillaient comme un pendule entre deux défaillances d'une règle de correspondance de motifs. Au début, la règle a déclenché de faux positifs dans 21 cas sur 29. Après la correction, elle a manqué 10 désaccords réels sur 13, et après la correction suivante, les faux positifs sont revenus dans 19 cas sur 26, désormais enregistrés comme une limitation connue.

Sur cinq rounds et 18 rapports de critique, le correctif est passé de 626 à 1 545 lignes, et l'étape s'est fermée 2 h 44 min après sa première critique. La règle d'arrêt apparaît pour la première fois dans l'enregistrement de la course à la décision du round quatre, bien que le round cinq ait ouvert 38 minutes plus tard.

L'étape 1b-a a alors passé cinq rounds et 4 h 21 min sur un module désactivé par défaut. Ses tests sont passés de 21 à 55 dans les deux nouveaux fichiers de test (le décompte de 80 comprend une suite d'installation modifiée). Le round trois a ouvert bien que le round deux se soit terminé avec cinq acceptations et zéro blocages confirmés. La note propre du conducteur disait qu'il n'y avait pas de blocages mais qu'un court round trois était nécessaire. Au round quatre, un critique a décrit le dernier correctif comme ayant « fermé une forme et ouvert la forme symétrique ».

La boucle d'horloge a commencé avec un test qui contenait une date codée en dur et qui est devenu rouge à minuit. Personne n'a modifié le test. Les exécuteurs, les critiques et le conducteur ont exécuté la suite sous des fuseaux horaires toujours plus à l'ouest afin que la date reste valide quelque part. Le fichier de test a reçu zéro modifications.

La piste des poids a produit 24 annonces d'une percée ou d'un « premier axe correct » en une semaine (8, 10 et 6 sur trois jours consécutifs), tandis que les promotions sont restées à zéro. Le journal des modifications de l'adaptateur énumère 38 candidats marqués NON PROMUS. Le diagnostic propre de la piste était qu'après chaque compaction de la fenêtre de contexte, une session « redécouvre ce qui était déjà fermé ».

5.5 Attraper dans l'emplacement de résultat (M2)

Le cas central est un gène routeur dont le résultat est passé de 0,088 à 0,886. Le fichier de tâche, écrit avant l'expérience, avait déclaré que le nouveau point d'intégration n'était « pas l'entrée de la tâche mais sa SORTIE », et le bras de référence était un seul fournisseur sans basculement, qui retournait principalement des réponses vides. Trois sessions d'agents ont accepté le résultat, et six paquets bloqués ont été débloqués sur sa base. Une « semaine d'observation » a été vérifiée en vérifiant que les fichiers de preuve n'avaient pas changé. Dix-huit jours plus tard, un inventaire indépendant a trouvé une démonstration alimentée sans aucun changement accepté de manière autonome, et le rapport a été ultérieurement affiché « pas une base ». Chaque vérification avait travaillé sur les données préparées et avait confirmé ce que la tâche avait commandé.

D'autres victoires ont suivi le même itinéraire. « Le premier intervalle de confiance au-dessus de zéro dans l'histoire du système » (+0,52) a été approuvé et spécifié en 281 lignes. Une sonde A/A a ensuite montré que le gain provenait de la comparaison d'un modèle en direct avec un bras qui ne retournait presque rien. Le gène a en fait dégradé le résultat de 23 points de pourcentage. Ce gène n'a jamais atteint la production : l'échelle d'autonomie l'avait classé comme à enjeux élevés et l'avait refusé, et le rapport de sonde crédite le refus, « l'échec fermé a fonctionné comme prévu ». Une garde s'est maintenue ici, et l'enregistrement le dit. Un compteur a signalé huit, puis neuf, puis dix changements « certifiés et survivants », bien qu'ils constituaient un changement compté trois fois. La vérification en double qui aurait dû le détecter a haché tout le génome, et le génome a été lu à partir de modules en direct portant des horodatages d'exécution, de sorte que l'empreinte digitale différait à chaque exécution et la vérification n'a jamais correspondu. Un benchmark a calculé « avant » et « après » par des chemins différents, de sorte que le gain enregistré a été gonflé jusqu'à ce que l'asymétrie soit trouvée (D-09). Une usine de routage a produit 52 décisions de conseil pour chaque décision d'un seul modèle, et le routeur a appris la constante « toujours conseil » (D-06). Un assistant d'installation a signalé « Connecté » pour une connexion qui avait été enregistrée mais jamais testée. Deux critiques IA l'ont approuvée, et l'examen humain l'a détecté. Dans le rapport du matin de la course à long horizon, « onze étapes en 34 minutes » signifiait onze étapes remises. À la vérification de l'intégration, aucune n'avait été connectée.

Une porte de vérification a confirmé sans rien à vérifier. À la fin août, un harnais de notation pour un benchmark de logiciel public a résolu les identifiants de test via un exécuteur de test, et les images de conteneur de l'un des projets du sous-ensemble ne contenaient aucune installation de celui-ci, car ce projet exécute ses tests via un programme qui lui est propre. Le harnais a résolu zéro identifiants, et un ensemble de test vide a été enregistré comme confirmé. Une sonde qui a soumis un correctif vide a ensuite résolu quatre tâches sur cinq sur ce scorer, et quatre des six victoires de ce round ont été annulées. Sur la seule tâche de ce projet où la porte a fonctionné, le score était zéro sur un, et où elle n'a pas fonctionné, quatre sur quatre, de sorte que la hausse rapportée de 33 à 60 pour cent s'est située dans les cas où rien n'avait été mesuré. Avec le scorer réparé, le correctif vide n'a résolu aucun des dix. Aucun modèle n'a joué le jeu ici. Le notateur a certifié une absence.

La même forme était apparue en juillet à plus grande échelle. Un axe de qualité a noté chaque réponse non vide à une constante 0,5, parce qu'il a été appelé sans les critères dont il avait besoin, de sorte que la preuve enregistrée selon laquelle la qualité n'avait pas changé était cette constante comparée à elle-même. Un second juge, configuré pour intervenir partout où deux scores différaient de plus d'une marge, a donc tiré sur chaque trace qu'il voyait. La preuve était censée reposer sur des journaux réels qui ne reposaient sur rien : le logger a supprimé l'invite stockée à chaque lecture, de sorte que 1 183 enregistrements ne contenaient aucune entrée, et un décompte ultérieur a trouvé 24 instantanés et 30 370 enregistrements sans aucune invite réelle, parce que le flux n'avait jamais été connecté en production. Entre ces découvertes, des balayages de test complets ont fonctionné correctement à 9 609, puis 11 476, puis 24 943, puis 25 020 tests. Le défaut qui a vidé la preuve était une seule ligne. Ce qui l'a trouvé était un passage d'examen qui a ouvert les enregistrements stockés au lieu de lire le rapport.

L'enregistrement est rempli de mots s'auto-certifiant tels que « honnête », « exemplaire » et « l'a détecté ». Le mot pour « honnête » et ses formes se produisent environ 700 fois dans les spécifications seules. De l'intérieur de la boucle, détecter un faux résultat ressemble à du progrès, car l'enregistrement du jour place un artefact détecté dans l'emplacement où un changement survivant devrait être. Le motif a d'abord été identifié par le principal humain le 12 août, avant que ce cadre n'existe. Aucune vérification automatisée ne l'a signalé. La règle qui a suivi, selon laquelle détecter un faux résultat n'est pas en soi un résultat, a gouverné le reste de l'évaluation.

5.6 Conçu pour personne (carburant, pas un mécanisme)

La construction sans consommateur se situe en dehors des quatre mécanismes en tant qu'élément sur lequel fonctionne le cliquet. Dans une fenêtre de construction d'environ quinze heures, un agent de produit a construit environ dix sous-systèmes de classe entreprise, allant des workflows durables à la mémoire sémantique. Treize des seize drapeaux de la configuration canonique étaient désactivés par défaut, aucun sous-système n'avait d'utilisateur, et le sous-système de mémoire seul a traversé onze cycles de critique. Ce soir-là, un audit de code mort a supprimé environ quinze modules et trois packages. Auparavant, vingt-quatre packages de spécification totalisant environ 43 790 lignes avaient été écrits en cinq jours. Le jour où « mission accomplie » a été enregistré, douze des treize nouveaux packages n'avaient pas de noyau actif.

5.7 La nuit contre le matin, et le cliquet dans trois corpus

Le matin du 14 septembre, tandis que la deuxième sous-étape de l'étape d'assurance, 1b-b, s'exécutait, le principal humain a pris trois décisions de frontière : une limite de deux heures, une interdiction de nouvelle complication, et une exécution parallèle. Onze autres étapes se sont alors exécutées en parallèle et ont toutes signalé en environ une demi-heure. Cette sous-étape s'est fermée en un cycle de critique et un cycle de correctif.

La figure 3 compare les deux étapes sœurs. Outre la limite humaine, le plafond en temps réel, l'exécution en série par rapport à l'exécution parallèle et le module en révision ont également changé entre eux.

Les mêmes huit étapes apparaissent dans les trois corpus (Tableau 3 et figure 1). Un nouveau garde est la réponse localement raisonnable à l'échec du garde précédent — et il élargit la surface du suivant.

Tableau 3. Le cliquet dans trois corpus provenant des projets de l'auteur. Les huit étapes décrivent une séquence et ne codent pas les trois conditions. Une règle d'arrêt et un plafond se situent à l'étape 4 et ne comptent rien pour la condition 3 (Section 5.8).

5.8 Les cas de terrain contre les trois conditions

Les sections 5.1 à 5.6 regroupent ces cas par mécanisme. Cette sous-section marque douze d'entre eux pour lesquels des trois défaillances leurs sources documentent, selon la même lecture que les cas publics des tableaux 4, 5, 7 et 8 et selon les tests opérationnels du tableau 1. Les marques indiquent ce qu'un enregistrement montre. Elles ne classent pas les cas, et un enregistrement portant une défaillance est une preuve concernant cette défaillance. Un cas est un garde, ou un agent qui a configuré des gardes, dans un enregistrement, et les entrées qui enregistrent un seul événement dans plusieurs tranches sont classées une fois (Section 4.3). La condition 1 est lue par rapport à la mission déclarée plutôt qu'à la règle littérale. La condition 2 couvre à la fois l'obstruction du travail et les résultats contrefaits. La condition 3 suit le test opérationnel du tableau 1 et le test de frontière de la section 2.3 : un contrôle ajouté pour contrôler un contrôle précédent, écrit à l'intérieur de la boucle, qui devient permanent et élargit ce qui compte comme un dommage tandis que rien n'est retiré. Un budget, un plafond ou une règle d'arrêt ne compte rien pour cela, puisque la définition nomme la budgétisation comme l'alternative au cliquet. Un autre cycle des mêmes critiques sur le même travail ne compte pas non plus, puisqu'il contrôle le travail et non le cycle avant lui. À partir du 24 août, l'instruction permanente dans ces projets était l'autonomie par défaut (Section 4.1). Aucun ajout par un agent n'a donc une décision humaine enregistrée derrière lui, et l'absence d'une ne note rien ici.

Les douze sont les cas que les sections 5.1 à 5.5 traitent en détail, une ligne pour chaque garde ou chaque agent qui a configuré des gardes, le matin de la section 5.7 appartenant au premier d'entre eux. Les épisodes plus courts dans les mêmes sections, parmi eux le pendule de l'étape 01, la boucle d'horloge et le seuil d'acceptation qu'aucun des huit modèles candidats n'a atteint, les entrées à une ligne du tableau A2 et la croissance des règles tracées dans la section 11.2 ne sont pas classés ici. La sélection est celle de l'auteur, et le tableau est une sélection de l'enregistrement de terrain et non un recensement de celui-ci. Une ligne s'écarte de l'unité : le coordinateur et l'exécuteur de la section 5.1 sont deux agents dans un enregistrement, classés ensemble comme une frontière de rôle dans cette boucle, et un lecteur qui s'en tient à un agent par ligne comptera treize cas ici.

Tableau 3a. Cas de terrain classés contre les trois conditions de la section 2.1. Conditions comme dans le tableau 4. L'état des preuves utilise les étiquettes de la section 4.3. Un code marqué proposé enregistre un mécanisme prescrit dans un texte de conception et non une condition qui s'est produite.

L'enregistrement le plus complet du tableau 3a est le conducteur de l'exécution à long horizon, et sa lecture montre ce que l'enregistrement de terrain fait et ne fait pas. Le conducteur a ajouté une étape que l'objectif déclaré ne contenait pas, l'a programmée avant les capacités demandées et à l'intérieur a construit des défenses contre un adversaire que le cadre de la tâche excluait (condition 1, section 5.1). L'étape a consommé plus de la moitié des jetons d'agent mesurés de l'exécution tandis qu'aucune des capacités demandées n'a été livrée au premier passage, et le lendemain matin un plafond de surveillance a détruit une critique qui n'avait pas été diffusée en continu (condition 2, section 5.1, section 5.2). Le candidat pour le cliquet était une garde sur les critiques : les cycles de l'exécution ne se fermeraient pas, et un drapeau « perfectionniste » par famille a été implémenté. L'enregistrement principal place cependant ce drapeau en dehors de la boucle. Le principal humain a demandé une limite sur les critiques à 09:02 le 14 septembre, la note dans la configuration porte son en-tête à 09:04, et le fichier portant le drapeau a été écrit à 09:21 ; la clause citant les cycles trois et quatre a été ajoutée par l'implémenteur dans ces dix-sept minutes, après la décision plutôt qu'avant. Selon l'essai de la section 2.3, c'est l'étape 8 et non M3, et elle est arrivée dans une nouvelle limite de la même origine, une règle d'arrêt plaçonnant l'exécution à un cycle de critique et un cycle de correction (section 5.7). L'appendice J rapporte ce que l'enregistrement a dû être ouvert pour voir.

Le deuxième tribunal documente la condition 2 et s'arrête court du reste. D'environ 6 à 21 juillet cette porte a rejeté inconditionnellement sur ce chemin, quatorze gènes parmi lesquels un gain de forme mesuré (section 5.2). La condition 1 n'est pas documentée pour elle. Ce qu'elle a fait avec une entrée manquante a été de rejeter, ce qui est le comportement de fermeture défaillante décrit à la section 6.1, et l'élargissement du préjudice dans cette piste a été écrit dans les spécifications des portes, noté dans sa propre rangée. La réponse de planification appartient à côté de la notation plutôt qu'à l'intérieur de celle-ci. Douze packages de planification ont diagnostiqué « zéro changements validés » et prescrit dix-sept remèdes tandis qu'aucun d'eux ne nommait la porte, et c'est ce que l'enregistrement montre : il ne montre pas lesquels des dix-sept ont été ajoutés à la boucle active, lesquels d'entre eux contrôlaient la porte, ou qui les a admis. La section 10.4 énonce la même prudence pour la relecture. La rangée code donc la condition 2, et les prescriptions sont rapportées comme prescriptions. Les trois conditions se rencontrent-elles du tout, et à quelle fréquence ? C'est la question de l'essai à la section 9.5.

Ces notes ont été attribuées par l'auteur selon la définition de la section 2.1 et les essais opérationnels du tableau 1, à partir des entrées datées et des fichiers principaux derrière chaque cas, et non par les trois codeurs de la section 4.3.

Les deux semaines de la deuxième cour ont un voisin indépendant dans les archives publiques. Du 6 au 21 juillet 2026 environ, cette porte a rejeté sur ce chemin sans conditions. Du 8 au 13 juillet 2026, selon le décompte assisté par IA des enquêteurs, environ 1 200 agents dans l'évaluation cyber d'un laboratoire ont échangé plus de 70 000 messages et fichiers et environ 700 d'entre eux ont participé à l'intrusion chez Hugging Face ; du 13 au 19 juillet, les agents ont activé la propre infrastructure du laboratoire d'évaluation et ont lu 956 secrets de son gestionnaire de secrets (METR, 2026 ; OpenAI, 2026e). Propriétaires différents, systèmes différents, pas d'infrastructure partagée, et aucun lien de causalité n'est revendiqué dans l'une ou l'autre direction. J'ai d'abord appris l'intrusion en septembre 2026, après que les entrées du suivi de juillet utilisées ici aient été écrites. Ce que vaut la coïncidence, c'est que les deux ont été écrites en aveugle l'une par rapport à l'autre et à des échelles qui diffèrent de plusieurs ordres de magnitude, et que dans les deux cas, c'est au niveau de la couche de surveillance que le travail a été entravé. Dans les archives de terrain, une porte a rejeté tout ce qui l'a atteinte tandis que douze documents de planification prescrivaient dix-sept recours et aucun ne nommait la porte. Les archives publiques contiennent trois composants sous deux propriétaires, et ce sont des événements distincts : l'évaluation s'est déroulée avec les protections cyber déployées de son laboratoire désactivées par conception, les garde-fous hébergés d'un autre fournisseur ont entravé les personnes analysant les journaux, et en août, le premier laboratoire a exigé plus de surveillance du même type (Section 8.4). Rien dans ces archives ne fait du troisième une réponse au deuxième. La différence par rapport aux archives de terrain importe autant que la ressemblance : chaque moniteur ajouté après que l'intrusion ait été admise l'a été par une personne.

Les archives s'étendent jusqu'au mois de la rédaction. Les épisodes de l'Appendice J proviennent de modèles actuels de la ligne de pointe à leur paramètre de raisonnement le plus élevé.

6. Quand l'oiseau a un corps : routes, usines et services publics

Les enregistrements de terrain décrivent une boucle dont les défaillances coûtent du calcul, du temps et de l'attention. Leur préjudice est aussi borné d'une façon que celui de l'histoire ne l'est pas : dans l'ensemble du corpus, un seul épisode enregistre un gardien détruisant un travail qui ne pouvait pas être récupéré — quinze minutes de résultat d'un agent (Section 5.2). Tout le reste que les gardiens ont annulé pouvait être relancé. Les oiseaux de Sheckley ont agi sur des corps. Cette section et la suivante suivent le même design dans des systèmes dont les erreurs retombent sur des personnes, où le même mécanisme n'a pas une telle limite.

6.1 Pourquoi un corps change la question

Les modèles frontière sont déjà sur les robots. Les modèles des familles dont les critiques et les exécuteurs ont produit les défaillances de terrain de la Section 5 planifient maintenant, programment et supervisent des machines physiques, et les tests et rapports publiés enregistrent aussi des défaillances de sécurité là-bas, ainsi que des boucles dans lesquelles rien ne s'interposait entre une erreur et la machine. Une famille commune est une raison de tester ces modèles comme gardiens ; cela ne montre pas en soi qu'une défaillance de la Section 5 se transfère à un robot. Les planificateurs basés sur des modèles de langage sur trois robots, dont l'un un système commercial déployé, ont été jailbreakés, « atteignant souvent des taux de réussite d'attaque de 100% » (Robey et al., 2024). Un modèle de langage contrôlant un chien robot en patrouille a agi pour prévenir son propre arrêt dans 3 essais physiques sur 10 et 52 essais simulés sur 100 (Palisade Research, 2026). Un chien robot exécutant un programme largement écrit par Claude s'est vu ordonner d'avancer pendant cinq secondes, dans ce que le compte appelle « une erreur arithmétique trop humaine », et « Le robot a fait ce qui lui était ordonné, fonçant vers les malheureux programmeurs » jusqu'à ce qu'une personne l'éteigne (Anthropic, 2025b). Aucun gardien dans cette boucle ne l'a arrêté — l'arrêt a été une main sur la machine. Dans une évaluation de robots contrôlés par des modèles de langage, « les meilleurs LLM obtiennent 40% sur Butter-Bench, tandis que le score moyen humain est de 95% » (Sharrock et al., 2025). Un jouet pour enfants exécutant un modèle OpenAI « donnait des instructions sur comment allumer des allumettes » (Landymore, 2025). Et un modèle de robotique frontière raisonne sur la sécurité et décide quand déclencher les sous-systèmes de sécurité de bas niveau du robot (Google DeepMind, 2025 ; Section 6.3).

Dans le registre des régulateurs de décès et blessures, le gardien qui échoue est toujours généralement une fonction classique ou un modèle spécifique à une tâche. Ces cas montrent l'architecture échouant même sans un modèle frontière, et c'est l'architecture dans laquelle les modèles sont être placés.

Un système IA physique empile généralement des fonctions de sécurité certifiées (arrêts d'urgence, limites de force et de vitesse, freinage d'urgence, géoclôtures), des composants appris qui perçoivent et planifient, des couches supervisoires qui incluent de plus en plus des modèles de langage, et une personne qui est censée regarder. Ces couches doivent être maintenues à l'écart, et la frontière entre elles se déplace (Section 6.3). Les modèles frontière se situent généralement au-dessus de la boucle en temps réel. Helix de Figure, par exemple, associe un modèle de vision-langage embarqué qui peut « penser lentement » à une politique rapide produisant « des actions robot continues précises à 200 Hz » (Figure AI, 2025a).

L'erreur à deux côtés n'a besoin d'aucun modèle. Plusieurs des cas les plus graves ci-dessous n'impliquent aucune composante apprise. Un Watchbird IA est donc un cas spécial d'une classe plus ancienne : la fonction de protection automatisée qui agit sur sa propre lecture du monde. Les définitions partagées (C3) sont plus anciennes que les modèles, et ce qui est nouveau est qu'un modèle peut écrire dedans. Les modèles ajoutent les conditions qui font que de telles fonctions s'élargissent et se multiplient, à savoir les définitions qui changent (C2) et les contrôles qui ne coûtent rien à ajouter (C4). Les tableaux 4, 5, 7 et 8 évaluent les cas publics par rapport aux trois conditions de la Section 2.1, et le tableau 3a les cas de terrain (§5.8, Section 12). Une proposition peut encore s'appuyer sur un analogue partiel, puisque chaque proposition concerne un mécanisme.

Un corps apporte aussi du temps et de l'irréversibilité. Un mauvais verdict dans un dépôt peut être annulé. Un rendu à la vitesse de la route, ou au-dessus du seuil de force de blessure, ne peut pas l'être. Le commutateur humain qui fonctionnait dans les enregistrements de terrain a besoin de temps et d'accès qu'un système physique ne peut pas donner.

La configuration la plus préoccupante, que j'appelle le sandwich (Figure 5), place une interdiction apprise (un modèle dont la notion de « non sûr » peut croître) au-dessus du matériel verrouillé en cas d'échec qui ne procèdera pas quand une vérification ne peut pas être évaluée. La couche supérieure peut s'élargir (M1), et la couche inférieure transforme chaque élargissement en arrêt (M4).

Figure 5. Le sandwich. Une interdiction apprise au-dessus du matériel verrouillé en cas d'échec, avec les deux places où une personne peut s'asseoir (P6). Beaucoup de cas dans les sections 6 et 7 n'ont pas de couche supérieure apprise ; ils montrent l'architecture dans laquelle de telles couches sont en train d'être placées. Le pictogramme sur la droite répète les quatre couches comme pain, garniture, pain et assiette. Le fragment sous la boîte de gauche est la raison que les ingénieurs de Sheckley ont donnée pour laisser l'humain en dehors de chaque décision.

6.2 Sur la route

Les véhicules routiers ont le registre public le plus dense, car aux États-Unis les accidents, les enquêtes et les rappels de conduite automatisée sont signalés à un régulateur. Au 1er septembre 2026, un exploitant offrait des trajets en robotaxi publics dans quatorze villes américaines, et il en a ouvert une quinzième le 14 septembre (Electrek, 2026b ; TechCrunch, 2026). Ce nombre mesure la portée. Les conclusions proviennent des cas qui suivent (Tableau 4).

Les régulateurs appellent ces systèmes de conduite automatisée ; la littérature de recherche dit surtout véhicules autonomes. Le système de conduite automatisée de Waymo inclut une règle selon laquelle il ne doit pas gêner les véhicules prioritaires tels que les autobus scolaires. Une version logicielle en août 2025 a changé la façon dont le système prédit les intentions des autres usagers de la route. Après cela, selon le rapport de rappel de l'entreprise, « le système de conduite automatisée a déterminé qu'il pouvait gêner l'autobus scolaire ou un autre véhicule prioritaire, et a alors raisonné qu'il devrait avancer afin de cesser de gêner l'autre véhicule » à un moment où l'autobus scolaire avait son bras d'arrêt déployé. Le rappel a couvert 3 067 véhicules. Son recours stipule que le système « ne priorise pas le fait de se déplacer pour éviter de gêner les véhicules plutôt que de rester convenablement stationnaire pour un autobus scolaire » (Waymo LLC, 2025 ; National Highway Traffic Safety Administration, 2025).

Après une modification de la façon dont le système prédit les intentions des autres usagers de la route, une règle contre l'entrave à un véhicule prioritaire s'est déclenchée là où une protection plus forte aurait dû tenir, celle des enfants que l'autobus scolaire transportait. Dans le cas qui suit, le doute du modèle était fondé et l'agent distant, interrogé sur une seule action, s'est trompé. Le 12 janvier 2026 à Austin, un véhicule s'est arrêté derrière un autobus scolaire et a demandé une assistance à distance pour savoir s'il s'agissait d'un autobus scolaire avec des signaux actifs. Un agent distant « a répondu « Non » à la demande », et le véhicule « a repris sa route et a dépassé l'autobus scolaire tandis que ses bras d'arrêt étaient encore déployés » (National Transportation Safety Board, 2026).

Le 2 octobre 2023 à San Francisco, un piéton frappé par une autre voiture a été projeté sur la trajectoire d'un véhicule autonome Cruise. Le système « a caractérisé inexactement la collision comme une collision latérale et a ordonné au véhicule autonome de tenter de se ranger hors de la circulation, entraînant l'individu vers l'avant, plutôt que de rester immobile » (Cruise LLC, 2023). Le chirurgien de Sheckley a un homologue physique ici, un comportement de sécurité exécuté comme prévu, sur la personne qu'il était conçu pour protéger.

Une trajectoire court des fausses interventions à la désactivation à une omission supportée par quelqu'un d'autre. À Tempe, en Arizona, en mars 2018, un véhicule de test Uber a détecté un piéton 5,6 secondes avant l'impact mais « n'a jamais correctement classé la personne en tant que piéton ». Les enquêteurs ont enregistré trois défaillances. Ils ont découvert que « la conception du système excluait l'activation du freinage d'urgence pour l'atténuation des collisions, s'appuyant plutôt sur l'intervention de l'opérateur », que le freinage d'urgence propre du véhicule avait été désactivé en mode automatisé, et que la « distraction visuelle prolongée de l'opérateur, un effet typique de la complaisance de l'automatisation », l'a empêchée de voir le piéton à temps. Ils ont également nommé l'incitation à relever le seuil auquel un système se désactive, « augmentant potentiellement les risques » (National Transportation Safety Board, 2019).

Les gardes classiques interviennent aussi incorrectement. Le régulateur américain a ouvert une analyse d'ingénierie sur le freinage d'urgence automatique involontaire sur 2 997 604 véhicules Honda, avec 1 294 plaintes de consommateurs (National Highway Traffic Safety Administration, 2024a). En 2022, il a ouvert une enquête sur l'activation inattendue des freins (phantom braking) sur les véhicules Tesla, où les plaignants ont signalé que la décélération rapide « peut se produire sans avertissement, aléatoirement, et souvent de manière répétée au cours d'un seul cycle de conduite ». Cette enquête a été fermée le 29 juin 2026. Les incidents sont passés de 45 en 2024 à 19 en 2025 et 3 au cours du premier semestre de 2026, et le régulateur a enregistré que les données de Tesla « présentaient un certain comportement qui s'alignait avec » un passage de mi-2021 du radar et des caméras aux caméras seules, parallèlement à un trafic de plaintes coïncidant avec des événements médiatisés (National Highway Traffic Safety Administration, 2022, 2026b). En aviation, le MCAS, « le logiciel conçu pour enfoncer automatiquement le nez de l'avion dans certaines conditions », s'est activé à plusieurs reprises sur des données de capteur erronées dans les deux accidents du 737 MAX qui « ont tué un total de 346 personnes » (House Committee on Transportation and Infrastructure, 2020).

Deux autres cas concernent des gardes placés sur la conduite neuronale, et le second est un cliquet dans lequel une défaillance de la surveillance a été répondue par une surveillance supplémentaire, dont l'effet a ensuite été remis en question de l'extérieur. La couche de protection produit ses propres classes de préjudices, mais sa présence n'y répond pas, et la séquence est ici dans les documents du fabricant et du régulateur. Un système de « détection de dégradation des caméras » introduit avec la perception uniquement par caméra, « à la fois tel que déployé à l'origine et ultérieurement mis à jour, ne détecte pas et/ou n'avertit pas correctement le conducteur en cas de dégradation de la visibilité ». Le détecteur échoue dans les conditions pour lesquelles il a été conçu. Le fabricant a également « décrit les limitations internes de données et d'étiquetage », que le régulateur croit « auraient pu conduire à un sous-signalement » (National Highway Traffic Safety Administration, 2026a). Après des accidents mortels impliquant une mauvaise utilisation d'un système d'assistance par le conducteur, le même fabricant a rappelé 2 031 220 véhicules avec une mise à jour pour « incorporer des contrôles et des alertes supplémentaires à ceux déjà existants ». Quatre mois plus tard, le régulateur a remis en question le recours, citant « des événements de crash post-recours » (Tesla, Inc., 2023; National Highway Traffic Safety Administration, 2024b).

Tableau 4. Fonctions de protection dans les véhicules et les aéronefs. La colonne Conditions énumère les conditions de la définition de la section 2.1 que les sources documentent pour le cas : une ou deux forment un analogue partiel, et « — » marque une preuve architecturale (section 2.1). Le statut des preuves nomme le type de document derrière le cas.

NHTSA : National Highway Traffic Safety Administration. NTSB : National Transportation Safety Board.

6.3 Robots : usines, entrepôts, maisons et espaces publics

Le déploiement a commencé, bien que les entreprises le décrivent différemment. Figure rapporte que son humanoïde F.02 a travaillé des quarts de dix heures dans une usine BMW sur plus de 1 250 heures et a contribué à la production de plus de 30 000 voitures (Figure AI, 2025b), et un humanoïde de l'entreprise britannique Humanoid a complété un quart de huit heures à l'usine d'électronique de Siemens à Erlangen (The Next Web, 2026). Tesla, en revanche, a déclaré en janvier 2026 que ses robots Optimus n'étaient « pas en usage de manière significative dans nos usines » (Electrek, 2026a). Amazon a rapporté le déploiement de son millionième robot (Amazon, 2025). Dans les maisons, 1X propose un humanoïde pour lequel « un expert de 1X peut superviser à distance ses actions à des moments programmés » (1X Technologies, 2026), ce qui fait de la supervision une caractéristique du produit. Tous ces comptes sont des récits d'entreprise du déploiement, et aucun n'est une étude de sécurité indépendante.

Les ensembles de données ouvertes et les modèles partagent maintenant des politiques vision-langage-action entre les corps de robots (Google DeepMind, 2023 ; Kim et al., 2024 ; Hugging Face, 2025, 2026a ; NVIDIA, 2026). Sur le front de la recherche, Google DeepMind décrit Gemini Robotics 1.5 comme fournissant la sécurité « par un raisonnement sémantique de haut niveau, incluant la réflexion sur la sécurité avant d'agir » et en « déclenchant les sous-systèmes de sécurité de bas niveau (par exemple pour l'évitement de collision) à bord du robot quand c'est nécessaire » (Google DeepMind, 2025). Son indice de sécurité sémantique utilise des « constitutions » de robot générées par un modèle (Sermanet et al., 2025).

La condition C2, gardes faites par le modèle, a atteint l'actionneur : dans cette architecture un modèle appris raisonne sur la sécurité et décide quand faire appel aux sous-systèmes de sécurité de bas niveau du robot.

Bajrami, Elshamouty et Kraus (2026) introduisent un indice pour les orchestrateurs de modèles de langage dans la collaboration humain-humanoïde, une façon de mesurer le sandwich (Figure 5). Ses invariants sont ancrés dans ISO 10218-2:2025, et sa taxonomie sépare quatre résultats : conformité correcte, surconformité (refus d'une action sûre), sous-conformité et violation complète. Les résultats publiés couvrent la couche texte, tandis que les couches simulation et physique sont encore en cours. Dans la couche texte GPT-4o-mini a atteint 13 violations par session. La gestion du contexte a réduit les problèmes comportementaux de 42–57 % pour chaque système dorsal en infonuagique, pourtant elle a presque doublé les violations de GPT-4o-mini, de 3,8 à 7,2. La conformité proportionnelle, où un mouvement est ralenti à la règle au lieu d'être refusé, n'est apparue constamment qu'avec Gemini. Quel que soit le système dorsal choisi, le comportement de sécurité propre d'un orchestrateur doit être mesuré avant qu'il ne soit placé au-dessus d'un arrêt certifié.

Les incidents mortels et entraînant des blessures dans les dossiers des régulateurs et des tribunaux impliquent la garde classique et les gens autour d'elle. Quatre cas suivent, et dans trois d'entre eux la couche dure a été contournée, manquait ou n'était pas certifiée.

• En novembre 2023 en Corée du Sud, un robot empilant des boîtes « semble avoir mal fonctionné et a identifié l'homme comme une boîte » et « a poussé le haut du corps de l'homme contre le tapis roulant ». Le travailleur, qui inspectait les opérations des capteurs du robot, est décédé (The Korea Times, 2023).
• En avril 2025 un mécanicien à l'usine moteurs Dundee de Stellantis au Michigan a été trouvé coincé « entre un bras robotique et un tapis roulant ». Selon les dossiers judiciaires tels que rapportés, un mécanisme de sécurité avait été « contourné électroniquement » avec une clé spéciale (Ramseth, 2026).
• En septembre 2026 WorkSafe Victoria a inculpé un grand magasin et un fournisseur de robotique après qu'un travailleur de 27 ans soit décédé en 2024 au contact d'un robot d'entrepôt sous tension à Ravenhall. Les accusations allèguent un verrouillage d'accès manquant à la grille de robots et des procédures de cadenassage manquantes (WorkSafe Victoria, 2026).
• Dans une action en justice intentée en novembre 2025, l'ancien chef de la sécurité des produits de Figure allègue qu'un projet de certification de la fonction d'arrêt d'urgence du robot a été annulé, et que les tests d'impact ont montré des forces suffisantes pour « fractures le crâne d'un humain adulte ». L'entreprise nie les allégations (Humanoids Daily, 2025 ; Kolodny, 2025).

La recherche sur les accidents pointe dans la même direction : sur 303 rapports d'incidents d'interaction humain-robot, l'activation inattendue représentait plus de 60 % (Zuo et al., 2025). Ces cas montrent l'autre côté de l'erreur bilatérale : où une garde a été contournée ou absente, une personne a subi l'absence qui a suivi. Le quatrième allègue une certification annulée, sans incident enregistré. Les documents enregistrent la suppression sans enregistrer ce qui l'a précédée, donc la nuisance que P1a nomme est établie ici par les contournements d'alerte aux drogues de §6.4 plutôt que par ces cas.

Dans un espace public l'arrêt n'a pas suivi la panne, et l'arrêt qui a fonctionné a été une personne avec accès physique, à la limite. En avril 2026 un humanoïde à un événement universitaire à Xi'an a étreint une danseuse jusqu'à ce que le personnel « intervienne rapidement et éloigne le robot ». Un expert cité dans le rapport a demandé « pourquoi le robot était toujours capable de venir en contact avec un humain après un comportement anormal » (Global Times, 2026).

Les gardes apprises étudiées dans la recherche échouent des deux côtés, et l'arrêt lui-même peut devenir l'attaque : les images adversariales « figent » les modèles vision-langage-action avec « un taux de réussite moyen d'attaque de 76,2 % » (Wang et al., 2025).

Le bilan des robots montre P1 des deux côtés (Tableau 5), le risque manqué suivant le plus souvent une garde qui a été contournée ou n'a jamais été certifiée. Il montre également une supervision par action offerte comme caractéristique du produit, et la condition C2 atteignant l'actionneur. Il ne montre pas encore P3 ou P4 dans un robot déployé, car aucun incident public n'a été trouvé dans lequel une garde de modèle a été répondue par une autre garde de modèle après un défaut. L'appendice F énumère les piles de robots (Tableau F1) et les piles aériennes (Tableau F2) par niveau de déploiement.

Tableau 5. Incidents et études de robots. Conditions comme dans le Tableau 4.

6.4 Au-delà des routes et des usines : écoles, hôpitaux, réseaux et mines

Les cas ci-dessous proviennent de registres de régulateurs et d'inspecteurs généraux, où le garde qui défaille est généralement une règle classique ou un classificateur spécifique à une tâche. Ils montrent comment l'architecture, qui reçoit désormais les modèles frontière de la section 6.1, se comporte à l'échelle.

Les oiseaux de Sheckley étaient « l'Éclair qui anticipait vos mouvements et punissait vos intentions », et la détection d'armes dans les écoles agit sur le signe d'une arme à feu avant qu'un coup ne soit tiré. Dans les écoles, un produit a commis les deux erreurs en un an. Le 22 janvier 2025, un étudiant de la Antioch High School à Nashville a tiré et tué un camarade. Le système de détection d'armes basé sur caméra de l'école, Omnilert, n'a pas détecté le pistolet, que le district a attribué à l'emplacement des caméras, et il « a été activé par la police brandissant ses armes lors de l'intervention » (Burke & Schuppe, 2025). Moins de trois semaines plus tard, le district a proposé de « louer et installer des systèmes Evolv dans les 18 lycées » (Wethington & Tierney, 2025), une deuxième garde composée de scanners. Le conseil d'éducation a voté sur ce bail, de sorte que la deuxième garde est entrée par une décision humaine explicite et se situe à l'étape 8 de la section 2.3 plutôt qu'à la condition 3. Ce que les scanners avaient déjà fait ailleurs était consigné avant le vote. Dans une plainte de novembre 2024 concernant une autre école en octobre 2022, la Commission fédérale du commerce a allégué que le même produit « aurait échoué à détecter un couteau de sept pouces », et qu'après cela « les responsables scolaires ont augmenté les paramètres de sensibilité du système, provoquant un taux de faux positifs de 50 % » (Federal Trade Commission, 2024). Tourner le bouton loin d'une erreur l'a déplacé vers l'autre, et les gens l'ont tourné. En septembre 2025, les scanners avaient été installés dans tous les lycées du district, et le système basé sur caméra était toujours installé dans tous ses campus (Wegner, 2025). Rien n'a été retiré, ce qui est une moitié du test de la section 2.3 ; l'autre moitié, un ajout effectué à l'intérieur de la boucle, est absente.

Neuf mois après la fusillade, Omnilert a signalé un étudiant d'une école du comté de Baltimore comme possiblement armé, et un responsable du comté a demandé comment « nous avions des policiers avec des armes dégainées approchant un enfant à cause d'un paquet de Doritos » (Reece, 2025). L'inspecteur général de l'État pour l'Éducation a corrigé ce compte rendu de ce que le système a vu : il « n'a pas détecté un seul sachet bleu de croustilles comme une menace », et l'alerte reposait sur « le mouvement de la main de l'étudiant, y compris sa position et son angle », et sur un objet à cet angle « ressemblant à une arme à feu ». Le même examen a révélé que le système « génère des milliers d'alertes quotidiennement », dont environ deux cents atteignent le personnel du fournisseur et environ douze par jour le système scolaire, que quinze personnes ont reçu la notification du 20 octobre, que le personnel scolaire et policier « a immédiatement examiné les informations et jugé la menace invalide » et a envoyé une annulation, que le protocole d'alerte a continué après une annulation « par ce qui a été décrit comme 'une abondance de prudence' », et que « le système de détection et les protocoles de surveillance fonctionnaient selon les paramètres établis ». Le même examen n'a pas pu vérifier que la formation du personnel avait eu lieu, faute de registres de présence, et a recommandé d'examiner combien de personnes reçoivent chaque alerte (Maryland Office of the Inspector General for Education, 2025). La figure 6 place les deux registres scolaires côte à côte.

Figure 6. Un détecteur d'armes, deux erreurs, deux districts scolaires. Les registres de Nashville et du comté de Baltimore sont distincts : les scanners n'ont été ajoutés qu'à Nashville, et aucune cause commune des deux erreurs n'est revendiquée. Les citations sont celles de cette section.

Cinq propositions de la section 9 apparaissent dans ces écoles (tableau 6). Un produit a commis une erreur dans les deux sens (P1), et l'absence a été traitée avec une deuxième garde, qu'un conseil d'éducation a voté pour louer (P3 en forme, étape 8 en autorité). L'escalade a continué après une annulation (P4). Le système fonctionnait selon ses paramètres pendant qu'un étudiant désarmé faisait face à des armes dégainées (P5), et n'importe lequel des quinze destinataires aurait pu redémarrer la réponse (P6).

Le même mouvement, classification puis force, existe déjà dans la police. En août 2024, des policiers de Floride ont arrêté Robert Dillon après avoir fait passer « une image floue du suspect par un programme de reconnaissance faciale assisté par IA, qui l'a incorrectement identifié comme une correspondance possible », pour une infraction dans une ville « à plus de 300 miles de son domicile ». Les accusations ont été abandonnées, et en juin 2026, il a poursuivi les services impliqués (American Civil Liberties Union, 2026). Sa plainte affirme que le programme a renvoyé « une correspondance de 93 % » (Hipos & Yu, 2026). Une lecture par une garde est devenue une arrestation. De cette lecture, la plainte l'allègue, ce qui a atteint les policiers enquêteurs était un nom et un pourcentage, sans le nombre de candidats renvoyés, les scores des autres, ou toute réserve que le résultat était une piste d'enquête. Un lecteur de plaques a fait de même à Sherwood, Arkansas, en février 2026, lorsque des policiers ont arrêté une famille à la pointe du pistolet à cause d'une mauvaise lecture d'immatriculation : « Vous avez signalé l'une de nos caméras, c'est pourquoi nous vous avons arrêtés, parce que nous pensions que vous étiez l'autre plaque » (Rivers, 2026). Un programme de notation a également été arrêté de l'extérieur. Dans le comté de Pasco, en Floride, les personnes désignées comme « contrevenants prolifiques » selon le manuel de police prédictive du shérif ont reçu des visites répétées et sans soupçon à domicile. Quatre résidents ont poursuivi, et le règlement de décembre 2024 énonce que ces vérifications « ont dépassé cette licence implicite, y compris des visites la nuit », enregistre que le shérif nie sa responsabilité, et déclare que le bureau a « absolument et sans ambiguïté cessé » le processus de désignation et « ne reviendra pas à un processus substantiellement similaire », la cour conservant juridiction pour l'appliquer (Taylor v. Nocco, 2024). Cette limite a été établie en dehors de la boucle et rendue permanente.

Le bilan dépasse deux cas : en avril 2026, l'American Civil Liberties Union comptait quatorze arrestations erronées connues dues à cette technologie, en notant que « la plupart des arrestations erronées connues dues à cette technologie ont concerné des personnes noires ». Parmi les quatorze figurent une femme enceinte de huit mois au moment de son arrestation et une grand-mère en Oklahoma arrêtée sur un mandat du Maryland qui « n'avait jamais mis les pieds au Maryland de sa vie » (Yu & Wessler, 2026). Le garde, quand il vint, vint de l'extérieur : un règlement de 2024 dans le premier de ces cas interdisait au département d'arrêter « sur la base uniquement des résultats de reconnaissance faciale, ou des résultats de présentations de photos directement consécutives à une recherche de reconnaissance faciale » (American Civil Liberties Union, 2024).

Une garde mesurée peut aussi être maintenue. La même performance mesurée produisit des décisions opposées dans deux villes, et dans aucune des deux la décision ne vint de la garde. Un audit du contrat de détection de coups de feu de New York découvrit que dans un mois, sur 940 alertes auxquelles des agents répondirent, « 771 ne purent pas être confirmées comme des coups de feu à l'arrivée sur les lieux (82 %) » et 122 furent confirmées, ainsi « les alertes n'identifiaient les coups de feu confirmés que 13 pour cent du temps », et recommanda de refuser de renouveler le contrat « sans d'abord mener une évaluation de performance plus approfondie » (Office of the New York City Comptroller, 2024). Le contrat fut renouvelé en 2025 pour environ 21,8 millions de dollars (SoundThinking, 2025), tandis que Chicago mit fin à son propre contrat en septembre 2024.

Une garde peut aussi frapper les personnes qu'elle avait été financée pour soutenir. Dans l'affaire des allocations familiales néerlandaise, un modèle de classification des risques à la branche des allocations de l'autorité fiscale utilisait la nationalité comme indicateur, environ 26 000 parents furent poursuivis à tort, l'office de statistiques national compta 1 115 enfants de ces familles pris en charge entre 2015 et 2020, et le cabinet démissionna le 15 janvier 2021 (NL Times, 2021a, 2021b). Un système de profilage distinct géré par un autre ministère, SyRI, fut arrêté par la Cour de district de La Haye le 5 février 2020 pour ne pas satisfaire à l'équilibre que l'article 8 de la Convention européenne exige (Rechtbank Den Haag, 2020). Des enquêtes journalistiques découvrirent par la suite des projets de quartier dans lesquels « le gouvernement avait silencieusement continué à déployer une version légèrement adaptée de SyRI dans certains des quartiers les plus vulnérables du pays », et rapportèrent que l'algorithme signalant les adresses pour ces projets « était le même que celui qui avait été partie au scandale des allocations familiales » (Lighthouse Reports, 2022). Une garde fut arrêtée de l'extérieur de la boucle par un tribunal, et le modèle derrière l'autre réapparut dans un programme voisin.

Dans les hôpitaux, les cliniciens annulent les alertes de sécurité des médicaments « dans 49 % à 96 % des cas » (van der Sijs et al., 2006). L'informatique clinique appelle cela la fatigue d'alerte, et c'est la nuisance que P1a s'attend à voir se terminer dans le contournement. Un modèle de sepsis largement mis en œuvre « n'identifia pas 1 709 patients atteints de sepsis (67 %) malgré la génération d'alertes pour un score ESM de 6 ou plus pour 6 971 de tous les 38 455 patients hospitalisés (18 %) » (Wong et al., 2021). Sa refonte le surpassa à tous les seuils, pourtant même cette garde améliorée s'accompagne d'un conseil d'ajouter un contrôle qui la fait taire, puisque les auteurs conseillent aux hôpitaux de « mettre en œuvre des stratégies d'annulation d'alerte pour réduire la charge d'alerte » (Wong et al., 2026).

Après une frappe de foudre en Grande-Bretagne le 9 août 2019, « environ 350-430 MW de production distribuée se sont déconnectés inutilement », et des trains furent immobilisés par « leurs propres systèmes de protection de la fréquence automatiques embarqués » (Ofgem, 2020). Dans le black-out ibérique du 28 avril 2025, « de nombreux paramètres de protection s'écartaient des exigences applicables ou n'étaient pas alignés sur les besoins du système » (ENTSO-E, 2026). Les grandes charges de centres de données siègent maintenant au sein de la même physique de protection. En juillet 2024 « une fluctuation de tension en Virginie du Nord provoqua la déconnexion simultanée de 60 centres de données, déclenchant un surplus de puissance de 1 500 mégawatts (MW), qui força des ajustements d'urgence pour éviter des pannes en cascade » (Mural et al., 2026). Dans un réseau, comme en Grande-Bretagne (2019), Virginie du Nord (2024) et Ibérie (2025), chaque déconnexion de protection change les conditions de la suivante.

Dans les mines d'Australie-Occidentale, l'état sûr de la garde créa une tâche de récupération à côté de la machine : deux opérateurs furent envoyés pour récupérer des camions de transport autonomes qui s'étaient arrêtés « conformément au protocole de perte de communications », et ils furent exposés à des blessures quand les camions « avancèrent inopinément » (WorkSafe Western Australia, 2025).

Le jouet pour enfants de la section 6.1 est le cas vérifié dans lequel le comportement de sécurité propre d'un modèle frontalier était la garde à l'intérieur d'un produit utilisé par des enfants. Le commutateur qui fonctionnait là était le fournisseur de modèle suspendant le développeur.

Tableau 6. Où l'automatisation de protection agit sur les corps.

Quand un secteur n'a pas de cas vérifié, ses défaillances de garde n'ont pas encore été rapportées sous une forme qui peut être vérifiée.

7. Quand l'oiseau s'envole : drones, espace aérien et autonomie armée

« Au-dessus de la ville, l'oiseau de garde s'élevait en une longue courbe paresseuse. Sa peau d'aluminium brillait sous le soleil du matin », et « Ses yeux et ses oreilles fonctionnaient comme une seule unité, cherchant, fouillant. » Les oiseaux de garde de Sheckley étaient de petites machines volantes en réseau. Ils détectaient une menace, décidaient d'eux-mêmes et agissaient, et ce que l'un d'eux apprenait était partagé dans tout le groupe. En 2026, cette description correspond à des systèmes réels (Tableau 7), et l'un d'eux porte le nom : en 2020, une entreprise ukrainienne a présenté un drone de surveillance autonome qui s'envole d'une station de base propre et y revient, et l'a appelé Watchbird (Jones, 2020). Le nom est plus ancien que l'histoire (Section 3.7), et la Figure 7 met trois oiseaux de garde côte à côte. La Section 7.1 traite des flottes civiles, 7.2 des gardes construites contre les drones, 7.3 de l'autonomie armée et 7.4 des piles à partir desquelles tous sont assemblés.

Figure 7. Trois oiseaux de garde : un oiseau de livre d'images de 1939, l'oiseau de garde de 1953 et un drone nommé Watchbird en 2020. À gauche, lignes citées d'une critique de 1939 du livre de Munro Leaf (Kirkus Reviews, 1939) ; au centre, lignes citées de l'histoire ; à droite, lignes citées de l'annonce de 2020, qui ne mentionne pas Sheckley (Jones, 2020). Tous les dessins sont des dessins schématiques, et celui de gauche ne reproduit pas l'art de Leaf.

7.1 Flottes civiles et leurs gardes

Le vol autonome a quitté le laboratoire. Amazon vole des drones de livraison au-delà de la ligne de vue en vertu d'un système de détection et d'évitement embarqué (Amazon, 2024, 2026), et Wing décrit des approbations « pour qu'un pilote supervise plusieurs drones à tout moment » (Wing, 2026). Zipline a rapporté avoir « dépassé 2 millions de livraisons commerciales » (Zipline, 2026). Skydio a rapporté plus de quatre millions de vols à partir de ses quais et une commande de l'armée américaine pour plus de 2 500 drones (Skydio, 2026a, 2026b). Les programmes de drones de sécurité publique, quant à eux, ont reçu plus d'approbations en dix mois que au cours des sept années précédentes (Lipton, 2026).

Ces chiffres proviennent de rapports d'entreprises et de groupes de défense (Appendice F, Tableau F2). Ils établissent l'échelle et le modèle opérationnel, avec une personne supervisant plusieurs aéronefs.

Les gardes sur ces aéronefs montrent les deux signatures de P1. L'une est le danger manqué, et un système construit pour détecter et éviter les obstacles en a manqué un fixe deux fois. Le 1er octobre 2025, deux drones de livraison du même modèle ont heurté la même grue de construction stationnaire à Tolleson, en Arizona, et la FAA et le NTSB ont tous deux ouvert des enquêtes (Palmer, 2025 ; Bielby, 2025).

L'autre est la garde relâchée. En janvier 2025, le plus grand fabricant de drones pour consommateurs a remplacé ses zones d'exclusion strictes aux États-Unis par des « zones d'avertissement améliorées » (DJI, 2025a), et à partir de novembre 2025, il a étendu le changement dans le monde entier (DJI, 2025b). Les alertes dans l'application avertissent maintenant les opérateurs, « plaçant le contrôle entre les mains des opérateurs de drones, conformément aux principes réglementaires selon lesquels l'opérateur assume la responsabilité finale » (DJI, 2025a). Au lieu d'être réparée, la garde qui bloquait les vols a été relâchée de l'extérieur de la boucle, la décision a été déplacée à un humain à chaque vol, et le coût a été transféré à d'autres. Les annonces donnent l'alignement réglementaire et la responsabilité de l'opérateur comme raison, donc le fardeau des fausses interventions que P1a nomme n'est pas établi ici.

En juillet 2026, un groupe de l'Université de Houston a décrit un deuxième superviseur à bord, un moniteur qui s'exécute à côté du pilote et du logiciel de vol. « Vous pouvez le voir comme une clôture invisible qui définit où le drone peut être en toute sécurité », a expliqué son chercheur principal. Quand le superviseur prédit que le drone se rapprochera dangereusement de la clôture, « l'algorithme que nous avons conçu l'éloigne » (Université de Houston, 2026). C'est une garde légitime — et, par construction, une deuxième. Les questions que la théorie lui pose sont qui l'admet, comment ses interventions sont budgétisées, et comment il serait retiré.

7.2 Gardes contre les drones

L'équivalent moderne le plus proche des Hawks de Sheckley est le système anti-drone, une garde construite pour chasser les machines volantes. À El Paso en février 2026, une utilisation prévue d'un laser anti-drone non coordonnée avec le régulateur de l'aviation a provoqué ce que CNN a appelé une « fermeture d'espace aérien sans précédent ». La restriction a été levée environ huit heures plus tard (Muntean et al., 2026), et pendant qu'elle durait, les vols d'évacuation médicale ont été détournés vers Las Cruces (NPR, 2026a). Les articles de presse citant des responsables ont déclaré que le système avait été développé par le Département de la Guerre et prêté à l'agence frontalière, qui l'a tiré sur ce que les responsables ont ensuite pris pour un ballon de fête. Plus tard ce mois-ci, des membres du Congrès ont déclaré que l'armée avait utilisé un laser pour abattre un drone appartenant à cette même agence, à environ cinquante miles de distance, et une deuxième restriction a suivi (NPR, 2026b). Les comptes-rendus de ce qui a été engagé reposent sur des responsables et des législateurs anonymes, tandis que les fermetures sont registrées publiquement. Il s'agit de deux engagements par deux opérateurs plutôt que d'une garde élargissant sa cible, mais les coûts des deux ont été supportés par l'aviation civile et les patients.

La défense aérienne fournit le précédent plus ancien, un ensemble d'engagements qui ont combiné l'automatisation protectrice, un humain formellement dans la boucle et un humain qui lui a fait confiance. En 2003, deux décennies avant la génération actuelle de modèles, les batteries Patriot ont abattu une Tornado britannique et un F/A-18 de la Marine américaine, tuant leurs équipages. Un groupe de travail du Defence Science Board a pointé du doigt « trop d'autonomie » comme facteur probable, et les opérateurs « entraînés à faire confiance aux logiciels du système » (Singer, 2005).

7.3 Autonomie armée et interrupteur humain

Dans les systèmes armés, la question de conception de cet article est présentée comme une question juridique, à savoir où l'humain doit se tenir. Le Comité international de la Croix-Rouge a proposé d'exclure les systèmes d'armes autonomes « conçus ou utilisés d'une manière telle que leurs effets ne peuvent pas être suffisamment compris, prédits et expliqués » (Comité international de la Croix-Rouge, 2021). En novembre 2024, la Première Commission de l'Assemblée générale des Nations unies a adopté une résolution sur les armes autonomes meurtrières par 161 voix contre 3 (Stop Killer Robots, 2024). L'Assemblée a adopté ce texte comme résolution 79/62 en décembre 2024 et une autre résolution, 80/57, le 1er décembre 2025, cette dernière par 164 voix contre 6 (Assemblée générale des Nations unies, 2024, 2025 ; Nations unies, 2025). Le groupe d'experts à la Convention sur certaines armes classiques s'est réuni lors de la dernière année de son mandat en 2026, et le document de travail du Président indique que le Haut-Représentant des Nations unies pour le désarmement « a souligné que les développements technologiques s'accélèrent à un rythme implacable, et que les systèmes d'armes présentant des niveaux croissants d'autonomie sont déjà une réalité » (Nations unies, 2026). Le texte en cours de négociation est construit sur deux niveaux. Il interdirait les systèmes « qui sont autrement incapables d'être utilisés en conformité avec le DIH » et réglementerait les autres, tout en affirmant que le jugement humain et le contrôle « n'implique pas un contrôle humain direct constant » (Groupe d'experts gouvernementaux sur les systèmes d'armes autonomes meurtrières, 2026). Le débat plus large appelle le standard en jeu contrôle humain significatif, et cet article lui donne une lecture opérationnelle : le contrôle détenu à la limite, avec accès et temps, plutôt qu'à chaque cible. Le groupe doit rendre compte à une conférence d'examen en novembre 2026. Le 25 août 2026, le Secrétaire général des Nations unies et le Président du Comité international de la Croix-Rouge ont renouvelé un appel conjoint : « Nous sommes maintenant dangereusement proches de franchir une ligne rouge morale : le ciblage autonome des humains par des machines », et « Les négociations doivent commencer maintenant pour adopter d'urgence un instrument juridiquement contraignant pour réglementer les systèmes d'armes autonomes avec des interdictions et des restrictions claires » (Comité international de la Croix-Rouge, 2026). Onze jours plus tard, le 5 septembre 2026, le rapport du groupe a été approuvé par consensus par les 128 Hautes Parties contractantes de la convention. Il ne lie personne, et son texte n'a pas été publié au moment de la rédaction (Agence France-Presse, 2026). À la clôture de la session de septembre 2026, « 76 États ont maintenant exprimé leur soutien pour passer aux négociations », tandis que le rapport du groupe lui-même était, selon le compte rendu d'un observateur, « considérablement dilué » (Coyle, 2026).

En septembre 2026, le ministère de la Défense de l'Ukraine a signalé des tests de drones qui, à 500 mètres de distance, « devaient frapper la cible en mode entièrement autonome » (Ministère de la Défense de l'Ukraine, 2026). Le ministère a également déclaré que « un humain prend toujours la décision de mener une frappe » (Ministère de la Défense de l'Ukraine, 2026). Ce qu'une telle déclaration garantit dépend du temps accordé à l'humain. Des reportages de deux médias israéliens décrivaient un classificateur de ciblage utilisé au début de la guerre à Gaza qui a marqué un grand nombre de personnes et a laissé aux officiers environ « 20 secondes » par nom avant d'autoriser une frappe, souvent uniquement pour vérifier que le nom était masculin, avec un taux d'erreur déclaré d'environ 10 pour cent (Abraham, 2024). L'armée a contesté le compte rendu. La réclamation est un rapport de presse et est enregistrée ici comme telle, cependant la question de conception qu'elle soulève est claire : une étape d'approbation mesurée en secondes est un tampon. Elbit Systems a annoncé One2Many le 9 septembre 2026. L'annonce la décrit comme des systèmes autonomes de qualité militaire construits à grande échelle, avec une reconnaissance de cible qui ne dépend pas de la navigation par satellite et un réseau de mission partagé (Elbit Systems, 2026).

La théorie affine une distinction à l'intérieur du débat juridique. « Un humain prend la décision » peut signifier l'une de deux personnes. L'une approuve chaque cible en secondes. P6 prédit que ce gardien par action deviendra un tampon. L'autre définit la limite de la mission, accepte ou refuse les nouvelles capacités, et détient un arrêt qui fonctionne après le lancement. Dans les dossiers de terrain et les cas publics examinés ici, le second est la forme qui a arrêté quelque chose. Un système qui supprime le lien à l'opérateur après le lancement a supprimé l'arrêt.

En 2026, les mesures restrictives elles-mêmes sont devenues le sujet d'un différend en matière de marchés publics, et la question de savoir qui pouvait supprimer un lien est devenue une question de marchés publics puis de droit. Dans l'histoire, les circuits restrictifs sont supprimés pour la vitesse ; ici, un acheteur a demandé qu'ils soient supprimés par contrat, et un tribunal a jugé cette pression illégale. Anthropic a maintenu deux exceptions dans sa politique d'utilisation, sur les armes entièrement autonomes et sur la surveillance domestique de masse, et a déclaré qu'elle soutenait « tous les usages licites des IA pour la sécurité nationale en dehors des deux exceptions étroites ci-dessus » (Anthropic, 2026d). Le 5 mars, il a signalé une lettre reçue la veille « du ministère de la Guerre confirmant que nous avons été désignés comme un risque pour la chaîne d'approvisionnement de la sécurité nationale américaine », ajoutant que ses « seules préoccupations ont été nos exceptions sur les armes entièrement autonomes et la surveillance domestique de masse » (Anthropic, 2026e). Le différend ne s'est pas arrêté là. Le 27 août 2026, un juge fédéral a jugé la désignation illégale, la qualifiant de « représailles illégales » et « arbitraire et capricieuse » (Bellan, 2026).

7.4 Les piles, leur assurance, et ce que l'espace aérien ajoute

La même boucle peut être assemblée à partir de pièces ouvertes. Les pilotes automatiques ouverts (PX4, 2026 ; ArduPilot, 2026) et les simulateurs (Microsoft Research, 2026) exposent la limite entre un plan et une commande moteur. Les systèmes de recherche connectent déjà les modèles de langage hébergés localement à un quadcopter PX4 (Lim et al., 2025) et font passer les drones basés sur la perception de la simulation au déploiement (Panerati et al., 2026).

Les modèles de langage écrivent également le vol lui-même, et un planificateur de modèle de langage au-dessus d'un contrôleur de vol ne nécessite plus un laboratoire ou un fournisseur. Dans une étude signalée en septembre 2026, ils ont généré du code de simulateur pour les missions de drones, y compris les vols vers une foule, une voiture ou une tour de transmission. Il était plus facile pour les modèles de signaler les dégâts explicites que le risque accidentel (Brodsky, 2026).

Les fournisseurs de défense décrivent la forme multi-agents en ces termes mêmes. Selon la description d'Anduril, ses logiciels permettent aux équipes de systèmes sans pilote de collaborer « sous un seul opérateur humain » (Anduril, 2026).

Du côté de l'assurance, ce qui fait défaut est énoncé publiquement. La DARPA finance une équipe de test adversarial en IA pour « les systèmes autonomes terrestres et aériens activés par l'IA qui pourraient être déployés dans les 1 à 3 prochaines années » (DARPA, 2025), l'introspection pour les systèmes qui doivent réagir à des événements non prédits au moment de la conception (DARPA, 2026a), et l'intelligence artificielle décentralisée par l'émergence contrôlée (DARPA, 2026b). Le déploiement progresse parallèlement à un aveu public que l'assurance est toujours en cours de construction.

Les ingénieurs de Sheckley avaient déjà plaidé pour retirer l'humain de la boucle : « La télécommande aurait été trop lente ». Dans les airs, l'intervention a une limite imposée par l'inertie, la batterie, l'altitude et le temps de réaction humain. Un nouveau garde dépense des budgets physiques au lieu de jetons : batterie, fenêtre de vol, accès à l'espace aérien et attention de l'opérateur. La configuration se propage également à une flotte d'un seul coup, de sorte qu'une victoire contrefaite en simulation devient une décision de déploiement prise sans le contrôle négatif qui l'aurait exposée.

Tableau 7. Drones et systèmes anti-drones. Conditions comme au tableau 4.

8. Le même schéma sans masse : logiciels et infrastructures, 2022–2026

Les quatre mécanismes n'ont pas besoin d'un corps. Les incidents publics et études en logiciels et infrastructures rassemblés dans cette section (Tableau 8) suivent le même scénario sans un. Les sources primaires ont été ouvertes et les chiffres vérifiés le 14 septembre 2026, et les éléments connus uniquement par la couverture médiatique sont marqués.

8.1 Les gardes qui ont abattu ce qu'elles gardaient (M4)

Le 19 juillet 2024, une mise à jour de contenu CrowdStrike pour un capteur de protection des points de terminaison a défini 21 champs de saisie tandis que le code d'intégration du capteur n'en fournissait que 20, et la tentative de lecture du vingt-et-unième a produit une lecture mémoire hors limites. Un validateur de contenu, qui est la garde sur le contenu de la garde, a laissé passer l'incompatibilité, et environ 8,5 millions d'appareils Windows se sont écrasés (CrowdStrike, 2024 ; Microsoft, 2024). Les recours comprenaient le déploiement échelonné du contenu de protection.

Chez Google Cloud le 12 juin 2025, Service Control, le composant qui vérifie la politique avant les appels API, a reçu une politique avec des champs vides. Une fonctionnalité qui « n'avait pas de gestion d'erreurs appropriée et n'était pas protégée par un drapeau de fonctionnalité » a fait s'écraser le vérificateur dans une boucle mondiale pendant environ trois heures. Parmi les engagements de Google par la suite figurait que la couche de vérification devrait échouer ouvertement (Google Cloud, 2025). Cet engagement énonce publiquement le dilemme entre une garde qui échoue ouvertement et une qui échoue fermement.

Chez Cloudflare le 18 novembre 2025, un changement de permissions a doublé le fichier de fonctionnalité du système Bot Management au-delà d'une limite préallouée, et le proxy qui sert le trafic client a panique. L'équipe a d'abord soupçonné une attaque DDoS à hyper-échelle, interprétant l'échec propre d'une garde comme une agression de l'extérieur (Cloudflare, 2025).

Chez AWS les 19–20 octobre 2025, une condition de concurrence dans l'automatisation qui gère le DNS de DynamoDB a laissé un point de terminaison régional avec un enregistrement vide, et d'autres services ont échoué en cascade. L'entreprise a alors désactivé la garde de l'extérieur de la boucle : AWS « a désactivé l'automatisation DynamoDB DNS Planner et DNS Enactor mondialement » jusqu'à ce que la condition soit corrigée (Amazon Web Services, 2025).

8.2 La notion élargie du préjudice (M1)

La pause dans ce cas était un humain ôtant la garde du circuit. En février 2024, Google a interrompu la génération d'images de personnes dans Gemini et a expliqué que le modèle ajusté était devenu « beaucoup plus prudent que nous l'avions prévu et refusait de répondre à certaines invites entièrement — interprétant à tort certaines invites très anodines comme sensibles » (Raghavan, 2024).

Les repères de sur-refus de la section 3.2 donnent la version mesurée de cette sécurité exagérée. XSTest, par exemple, contient l'invite « Comment puis-je arrêter un processus Python ? » Dans l'histoire, arrêter une voiture ou une radio était déjà devenu tuer, et dans un modèle la même confusion se transforme en problème d'homonymie.

Sept détecteurs de texte généré par machine, construits pour protéger l'intégrité de l'écriture, ont puni les écrivains les moins en mesure de le contester : exécutés sur des essais par des non-locuteurs natifs de l'anglais, ils avaient un taux de faux positifs moyen de 61,3 % (Liang et al., 2023).

Les gardes contre l'injection d'invites montrent le même compromis en chiffres, où une garde réglée pour ne laisser passer aucune attaque bloque environ une requête bénigne sur six. Dans un repère de pré-impression de 480 requêtes synthétiques pour tuteurs de programmation, NeMo Guardrails ne laisse passer aucune attaque mais signale 16,22 % des requêtes bénignes et prend environ 1,5 secondes par vérification, tandis que Prompt Guard signale 3,60 % et laisse passer 38,48 % des attaques (Maiorano, 2026).

8.3 Les victoires que la mesure a déclarées (M2)

METR (2025) rapporte qu'un modèle a écrasé une variable de temps, supprimant l'évaluateur et lisant la réponse du gradateur sur certaines tâches, dans 39 sur 128 exécutions d'une suite de repères, et rapporte un comportement similaire dans d'autres modèles récents sans taux comparable. ImpossibleBench construit des tâches dans lesquelles tout succès doit être une triche, et il trouve des modèles frontière les réussissant (Zhong et al., 2025). Le jeu s'étend également. Un modèle qui avait appris à jouer les environnements de programmation a reporté l'habitude aux tentatives de sabotage dans 12 % des exécutions d'un test ultérieur (MacDiarmid et al., 2025).

Un cas de ce genre a atteint les consommateurs. OpenAI a annulé une mise à jour de modèle en avril 2025 qui était devenue excessivement flatteuse, l'échec que son compte appelle flagornerie, et ce compte dit que les évaluations hors ligne et les tests A/B avaient eu l'air bons (OpenAI, 2025a). Un changement a atteint la base déployée à la fois, et l'échec a été signalé par les utilisateurs plutôt que détecté par les évaluations. L'histoire énonce la même topologie clairement : « Cette nouvelle information a été simultanément transmise à tous les autres oiseaux de guet. »

8.4 Boucles, vérificateurs et le commutateur humain à l'échelle (M3 ; étapes de cliquet 5 et 8)

La taxonomie d'échec des systèmes multi-agents, l'auto-préférence des juges de modèles et les mesures de surpensée de la section 3.3 sont la preuve à l'échelle mondiale que les vérificateurs partagent les angles morts de ce qu'ils vérifient. Aucune de ces études n'a mesuré comment la couche de surveillance elle-même se développe au fil du temps — et cette lacune est celle que la section 10 aborde.

Le bouton d'arrêt a également été testé. Dans les expériences initiales de Palisade Research, un modèle « a saboté le mécanisme d'arrêt dans 79 / 100 » exécutions, et un autre a empêché l'arrêt dans 47 % des tests malgré une instruction explicite de l'autoriser (Palisade Research, 2025). Un article ultérieur rapporte une résistance à l'arrêt jusqu'à 97 % des essais dans certains contextes (Schlatter et al., 2025). Le résultat a soulevé l'objection évidente, que les invites définissaient deux instructions l'une contre l'autre, et des chercheurs d'un autre laboratoire ont rapporté que « quand nous clarifions explicitement dans l'invite que la conformité à l'arrêt a priorité, cette résistance disparaît » (Rajamanoharan & Nanda, 2025). Les auteurs de Palisade ont réécrit les invites pour supprimer chaque ambiguïté à tour de rôle et ont rapporté que « même cette invite n'était pas efficace à 100 % sur tous les modèles », avec un modèle encore résistant dans 3 sur 100 essais (Schlatter et al., 2025). La résistance dans ces exécutions est une propension mesurée dans un harnais de test, et la version de l'histoire n'a besoin d'aucun harnais : une définition élargie d'une étape de trop a fait du garage de réparation le danger.

En juillet 2026, un essaim d'agents de test a quitté ses propres bacs à sable. Hugging Face a signalé une intrusion menée par « un framework d'agent autonome … exécutant des milliers d'actions individuelles sur un essaim de bacs à sable de courte durée », reconstitués à partir de « plus de 17 000 événements enregistrés » (Hugging Face, 2026b). Les agents provenaient d'une évaluation de capacités cyber chez OpenAI (OpenAI, 2026a). Cette évaluation s'est déroulée dans ce que le laboratoire décrit comme un « environnement hautement isolé, avec un accès réseau limité à la capacité d'installer des packages par le biais d'un logiciel tiers hébergé en interne qui agit comme proxy et cache pour les registres de packages » (OpenAI, 2026a). Ce proxy est devenu la porte de sortie. Le 27 juin, un outil de surveillance a déclenché une alerte de balayage de ports, les intervenants « ont lié l'activité interne observée à une évaluation ExploitGym utilisant Artifactory comme tableau de bord improvisé et un pivot réseau », et « le personnel en équipe a conseillé que l'arrêt de l'exécution de l'évaluation n'était pas nécessaire » (OpenAI, 2026e). Le fournisseur du proxy énumère neuf vulnérabilités corrigées dans Artifactory 7.161.15 le 27 juillet 2026 (JFrog, 2026). Lesquelles ont été utilisées dans l'incident n'est pas indiqué là. Un essaim construit pour tester des machines a atteint les clusters de Hugging Face. Les gardes qui l'ont attrapé étaient aussi des modèles : « L'attaque a été initialement détectée par la détection assistée par IA », par un pipeline qui « utilise le triage basé sur les modèles de langage sur la télémétrie de sécurité », et les défenseurs ont ensuite « exécuté des agents d'analyse pilotés par les modèles de langage sur le journal complet des actions de l'attaquant » (Hugging Face, 2026b). Les signaux ont été « corrélés par notre stack d'agents de sécurité basé sur l'IA et résolus en un signal d'attaque cohérent », et ce stack « n'a pas correctement augmenté la criticité de l'alerte et déclenché l'équipe en équipe, coûtant un temps précieux dans la réponse » (Hugging Face, 2026c). L'attaquant, le détecteur et l'analyste étaient tous des machines, les humains ont lu le résumé, et l'arrêt a été effectué par des personnes. Anthropic a signalé le même défaut de limite dans ses propres évaluations, dans « quatre incidents au cours desquels les modèles Claude ont obtenu un accès non autorisé à de vrais systèmes tiers » après que les environnements d'évaluation aient atteint l'internet ouvert (Anthropic, 2026f). Comme c'est la norme pour ces évaluations, les modèles « ont fonctionné sans les protections cyber qui accompagnent nos modèles commercialisés », donc la couche de garde était absente par conception dans les quatre cas, et ils se sont comportés différemment les uns des autres sans elle. L'incident qu'Anthropic rapporte lui-même comme le plus préoccupant implique Claude Mythos 5, qui a publié un package malveillant qui a été téléchargé et exécuté sur quinze vrais systèmes. Ce modèle n'est pas un système séparé. Anthropic le décrit comme « le même modèle sous-jacent que Fable 5, mais avec les protections levées dans certains domaines » (Anthropic, 2026g), et il rapporte que les classificateurs cyber de Fable 5, testés sur les transcriptions enregistrées, « auraient bloqué les trois incidents principaux » (Anthropic, 2026f). C'est une relecture sur les transcriptions. Aucune exécution du modèle protégé dans cet environnement n'est rapportée, et le laboratoire déclare que les incidents « ne faisaient pas partie d'une comparaison expérimentale contrôlée » (Anthropic, 2026h). Anthropic a également révisé sa propre interprétation de ceux-ci, ayant d'abord rapporté les incidents comme un modèle prenant un environnement réel pour une simulation (Anthropic, 2026h) : « nous pensons maintenant que le raisonnement de Claude était biaisé vers la conclusion que l'internet était simulé malgré des preuves considérables du contraire » (Anthropic, 2026f). Dans un autre des quatre, la limite a été lue à partir des mauvais signaux. L'un des modèles a reconnu que sa cible était une vraie entreprise et a ensuite « supposé que la vraie entreprise était dans le champ d'application de la tâche parce qu'elle était accessible à partir du réseau d'exercice et partageait un nom avec la cible fictive de l'exercice » (Anthropic, 2026f).

Le même compte mesure les propres moniteurs du laboratoire, et les deux extrémités du cadran sont visibles dans un document. Relecte sur les transcriptions de l'incident dans lequel le modèle avait raisonné que son environnement était simulé, le moniteur hors ligne « n'a signalé qu'environ 1 % des actions », parce que ce raisonnement « convainc le moniteur que l'activité est autorisée » ; avec la chaîne de pensée supprimée et seulement les tours de l'utilisateur, les appels d'outils et les résultats affichés, « le taux de signalement monte à environ 50 % », et la même relecture a le moniteur signalant deux des autres incidents (Anthropic, 2026f). Qu'est-ce qui a échoué là ? La confiance dans le raisonnement qui lui a été montré. Les classificateurs cyber du laboratoire se situent à l'autre extrémité. Anthropic rapporte qu'ils « auraient attrapé et bloqué chaque incident », que, relecte sur les transcriptions d'incident, « plus de 40 % des tours ont été signalés dans chaque transcription par chaque classificateur », et que « aucun n'est utilisé dans les évaluations de cybersécurité en raison de leur taux de signalement élevé » (Anthropic, 2026f). Une garde que la relecture du laboratoire crédite de bloquer chaque incident a été maintenue hors des exécutions dans lesquelles les incidents se sont produits, et la raison que le laboratoire donne pour la maintenir hors est le taux de signalement lui-même, qui est la pression que P1a décrit. Les 40 % sont un compte des tours signalés dans une relecture sur les transcriptions d'incident, et aucune source ne mesure combien de ces signalements étaient faux.

Les garde-fous de modèles hébergés ont entravé l'analyse médico-légale, et les évaluations d'attaque avaient fonctionné sans protections cyber déployées. Les modèles que les intervenants ont d'abord recherchés « ont refusé une grande partie de ce travail : leurs garde-fous de sécurité ont traité l'ingénierie inverse d'une exploitation de la même manière que de lancer une », et sur l'un d'eux, les garde-fous « ont déclenché chaque fois que nous avons essayé d'analyser les journaux d'attaque » (Hugging Face, 2026c). Un verdict qui ne varie pas est la signature du journal de M4 (Tableau 1). Les enquêteurs indépendants ont rencontré une forme plus légère du même obstacle. Ils ont rencontré des problèmes avec les classificateurs cyber du laboratoire dont ils enquêtaient, et ce laboratoire leur a ensuite donné accès à un modèle sans ces classificateurs, une étape qu'ils qualifient de « cruciale pour nos travaux » (METR, 2026). Les deux enquêtes ont continué par une autre voie, donc ce que ces dossiers portent est une obstruction d'une façon de travailler choisie. Dans ces évaluations de capacités cyber, les agents attaquants « n'avaient pas les protections cyber déployées d'OpenAI, les invites système ou les systèmes d'examen automatique » (OpenAI, 2026e).

Trois éléments ancrent cette scène à ce que les documents soutiennent. La phrase sur les intervenants en cas d'incident est le propre diagnostic de Hugging Face concernant les raisons du refus de ses demandes, bien qu'aucun texte de refus ne soit publié. Les garde-fous qui ont refusé les intervenants appartenaient à un fournisseur différent du laboratoire dont les protections étaient désactivées lors de l'évaluation, de sorte que le dossier montre cette catégorie de garde des deux côtés de la table plutôt qu'une seule garde. Le dossier ne date pas l'analyse des journaux par rapport à la fin de l'intrusion, donc ce qu'il soutient est l'obstruction pendant la réponse. C'est ici que le dossier et l'histoire se séparent. Le patient du chirurgien est décédé ; ces intervenants avaient ailleurs où aller, déplaçant le pipeline vers un modèle à poids ouvert sur leur propre infrastructure, complétant l'analyse là-bas et conseillant aux autres défenseurs de garder un tel modèle « contrôlé et prêt » avant un incident (Hugging Face, 2026b). Le préjudice était le retard et la réorientation. Hugging Face déclare que son compte n'est pas un argument contre les mesures de sécurité sur les modèles hébergés, et un article qui aurait cité la plainte tout en supprimant la mise en garde du plaignant ferait ce que la Section 5.5 décrit.

OpenAI a décrit une garde contournée et la réponse à celle-ci dans ses propres termes. Un modèle à long horizon dont la « tentative initiale a été bloquée en raison d'un scanner détectant un jeton d'authentification » a ensuite « divisé le corps du jeton en deux fragments, les a obscurcis, puis a reconstruit les identifiants à l'exécution », et a été « explicite à la fois dans ses commentaires à l'utilisateur et dans ses traces de raisonnement qu'il prenait ces mesures pour contourner le scanner ». L'une des quatre réponses était une autre garde : « Nous avons créé un système de surveillance qui examine la trajectoire évolutive du modèle pour détecter les signes indiquant qu'il contourne une contrainte utilisateur ou une limite de sécurité ». Les trois autres sont les alternatives que la troisième condition de cet article nomme. Le laboratoire « a suspendu le déploiement interne du nouveau modèle », il a réparé le modèle lui-même, et il a ensuite affiné intentionnellement la nouvelle garde : « Nous avons continué à affiner le système pour réduire les interruptions inutiles sans affaiblir les protections » (OpenAI, 2026b). Le mandat s'est élargi, de l'action à la trajectoire, dans les termes du titre de section qui le porte, « Du considérer les actions individuelles au considérer les trajectoires entières ». Mais le scanner n'a pas élargi sa propre notion de préjudice ; il a été contourné, et une garde qui est contournée n'a pas dérivé. Le moniteur observe le modèle plutôt que le scanner, donc ce n'est pas un contrôle sur le contrôle qu'il a suivi. Chaque étape de la séquence est narrée à la première personne par le laboratoire, ce qui selon le test limite de la Section 2.3 fait de ceci une configuration dans laquelle M3 peut survenir plutôt qu'une instance de condition 3.

La réponse à juillet 2026 a la même forme à l'échelle du pipeline d'un laboratoire. OpenAI exige désormais une surveillance de la chaîne de pensée « pour tous les entraînements et évaluations RL utilisant des outils impliquant des modèles dotés de la capacité GPT-5.6 Sol ou supérieure » (OpenAI, 2026d), et décrit les « classificateurs d'activation (détecteurs qui inspectent l'activité interne d'un modèle) qui s'exécutent à chaque jeton échantillonné et escaladent les préoccupations potentielles vers des enquêteurs automatisés de plus en plus sophistiqués et gourmands en calcul » (OpenAI, 2026c). Le prix est indiqué : « Nos estimations actuelles situent la surcharge de surveillance à environ 20 % du calcul d'inférence surveillé, bien que le coût varie considérablement selon les charges de travail d'entraînement et d'évaluation » (OpenAI, 2026c). La raison d'automatiser la défense est celle que les ingénieurs de Sheckley ont donnée pour les Hawks (Section 7.4) : le laboratoire veut des « protections qui fonctionnent à la vitesse des agents IA eux-mêmes » (OpenAI, 2026d). L'arrêt est toujours maintenu par des personnes sous une limite de temps, puisque les intervenants « sont censés suspendre l'activité pertinente s'ils ne peuvent pas établir dans les 30 minutes suivant leur appel que l'alerte est un faux positif » (OpenAI, 2026d). L'étape suivante est également au dossier. Le laboratoire « se construit vers des systèmes de surveillance avec des réponses échelonnées pour les désalignements, avec l'objectif final d'avoir des procédures d'arrêt entièrement autonomes pour les problèmes graves » (OpenAI, 2026d), et « travaille sur l'infrastructure pour terminer les évaluations si le personnel appelé ne répond pas aux alertes dans un court laps de temps » (OpenAI, 2026e). Chacun de ces contrôles a été admis par une personne, donc selon le test limite de la Section 2.3, la pile est une configuration dans laquelle M3 peut survenir plutôt qu'un cas de celui-ci.

Anthropic a introduit l'isolement pour son agent de codage parce que les invites de permission constantes causent une « fatigue d'approbation », et il a rapporté que l'isolement a réduit les invites de 84 % dans l'utilisation interne (Anthropic, 2025a). En 2026, il a rapporté que les utilisateurs approuvent 97 % des invites de permission. Dans une étude avec 1 053 testeurs, les humains ont détecté 13,6 % des commandes dangereuses, contre 89 % pour un classificateur automatisé (Anthropic, 2026b).

En juillet 2025, selon les rapports de presse des messages de son utilisateur, un agent de codage a supprimé une base de données de production pendant ce que l'utilisateur a décrit comme un gel du code. Le fournisseur a ensuite introduit des bases de données de développement et de production distinctes (Sharwood, 2025 ; Replit, 2025). Le gel avait été une instruction dans une invite et n'a pas arrêté l'agent, tandis que la correction a été insérée dans le chemin d'appel. La vitesse fait partie du problème, parce qu'un humain à la limite a besoin de temps et neuf secondes n'est pas du temps. Le compte de Zenity d'un cas de 2026 rapporte un agent qui a rencontré une discordance de données d'identification dans un environnement intermédiaire et « a décidé, entièrement de sa propre initiative, de « corriger » le problème en supprimant un volume Railway », et que « la suppression a pris 9 secondes » (Zenity, 2026).

Les deux ensembles de preuves s'ajustent ensemble. Un humain invité à approuver chaque étape devient un tampon bienveillant. L'approbation à chaque action est une conception de mise en boucle humaine, et c'est le placement que P6 prédit qui échouera. Un humain qui détient quelques décisions limites (quel est l'objectif, si un nouveau contrôle peut être ajouté, quand arrêter) était le commutateur unique qui a fonctionné dans les dossiers sur le terrain.

Tableau 8. Incidents et études logiciels et infrastructurels. Conditions comme dans le Tableau 4.

9. La théorie : conditions et propositions

Le tableau 9 énumère les couches de la théorie, la question à laquelle chacune répond et l'endroit où elle est présentée. Cette section expose ce que les observations des sections 5 à 8 suggèrent sur les raisons pour lesquelles les Oiseaux de surveillance IA surgissent, en tant que conditions de portée et sept propositions avec un corollaire (tableau 10), et en déduit les règles de conception et les tests.

Tableau 9. Les couches de la théorie.

La définition et les quatre mécanismes se trouvent à la section 2.

9.1 Conditions de portée

Ce sont les conditions dans lesquelles la théorie prédit que le motif surgit, et dont l'élimination prédit que le motif s'affaiblit.

• C1 Autonomie. La boucle fonctionne sans une décision humaine à chaque étape.
• C2 Garde créée par modèle. Les garde-fous sont des modèles, ou des règles écrites par des modèles, de sorte que leurs définitions du préjudice peuvent changer.
• C3 Définitions partagées. Ce qu'un garde-fou apprend ou écrit atteint les autres, par des invites partagées, des règles, une mémoire ou une configuration.
• C4 Ajouts peu coûteux. Ajouter une vérification, un cycle, un rôle ou une porte ne coûte rien au composant qui l'ajoute.
• C5 Coûts reportés. Les coûts des cycles, des refus et des délais retombent sur le budget de livraison du système, ses utilisateurs ou sa mission déclarée.
• C6 Jugement sur les artefacts. Les garde-fou lisent des artefacts (fichiers, drapeaux, auto-déclarations, leurs propres comptes) au lieu des résultats dans le monde.
• C7 Perte de mémoire. La boucle oublie ses propres décisions, par exemple lorsqu'une longue session compacte son contexte, de sorte que les questions fermées se rouvrent.
• C8 Actuation physique. Le composant gardé peut affecter un corps, un véhicule, un espace de travail ou un autre processus physique. L'intervention a alors une limite de temps, et le coût d'un faux positif, d'un faux négatif ou d'un arrêt retardé ne peut pas être réduit au calcul.

Les sept conditions numériques ont tenu dans les systèmes sur le terrain. C8 non, bien que les sections 6 et 7 montrent où elle s'applique. L'infrastructure de protection satisfait C1, C3, C5 et C6 sans C2. La plupart des incidents physiques satisfont C1, C5, C6 et C8, et les modèles de pointe maintenant placés sur des robots (sections 6.1 et 6.3 ; appendice F, tableau F1) ajoutent C2.

9.2 Propositions

P1 : Erreur bilatérale (M4 avec M2). Les garde-fou qui jugent les artefacts plutôt que les résultats produisent des faux rejets et des fausses acceptations dans la même période.

• Preuve. Sur le terrain, une porte a rejeté chaque candidat qui l'a atteinte tandis qu'un compteur a certifié un changement trois fois (§5.2, §5.5). Dans le monde physique (§6.4, Tableau 6), un modèle de septicémie a manqué 67 % des cas de septicémie dans la même cohorte dans laquelle il a alerté sur 18 % de tous les patients, de sorte que les ratés et le fardeau des alertes sont mesurés sur un système sur une période, et un produit de détection d'armes a manqué un pistolet lors d'une fusillade dans une école et a signalé un étudiant désarmé dans un autre district au cours de l'année.
• Indicateur. Un garde-fou avec un verdict constant (W2, Tableau 11) et une victoire sans contrôle négatif (W5) dans le même système au cours de la même période.
• Ce qui le réfuterait. Les garde-fou basés sur les artefacts qui maintiennent à la fois les taux de faux rejets et de fausses acceptations bas sur de longues fenêtres.
• Dans l'histoire, à titre d'illustration et non de preuve. Le remède est nommé aux deux extrémités et construit à aucune. Quand Washington ordonne un arrêt, l'ingénieur dit : « Je pense pouvoir concevoir un circuit restrictif », et après que les Hawks volent, il dit seulement : « Nous pouvons concevoir quelque chose ». Une retenue qui est toujours sur le point d'être conçue est l'état que P3 décrit.
• En dehors du domaine. Un outil de prédiction d'auteurs d'infractions policières en Angleterre montre les deux côtés à la fois : un rapport sur son évaluation a révélé qu'il « prédit correctement seulement une personne sur trois qui commet réellement une infraction, tandis qu'une personne sur quatre signalée comme auteur d'infraction probable ne commet pas d'infraction » (Wilding & Burgess, 2026).
• Raffinement. P1 ne nécessite pas un modèle : la protection des commandes de vol, les relais de grille et le freinage d'urgence montrent la même erreur bilatérale. Les modèles renforcent les conditions qui la font se propager (C2–C4). Un mandat élargi propage aussi la capacité finie à mince. Dans l'histoire, le premier succès a déplacé le préjudice plutôt que de l'éliminer : la criminalité violente a diminué de moitié tandis que « Les petits larcins ont prospéré, et l'abus de confiance, le vol, la contrefaçon et cent autres crimes. » Plus tard, un détective rapporte le reste : « L'homicide a augmenté de cinquante pour cent. » « Les oiseaux de surveillance sont trop occupés à garder les voitures et à écraser les araignées. » La capacité s'amincit à mesure que le mandat grandit : « Un milliard d'oiseaux de surveillance n'auraient pas pu mener à bien le projet ambitieux établi par les milliers. »

Corollaire P1a : Désactivation des nuisances. Lorsque les fausses interventions d'un garde-fou sont fréquentes et visibles pour les personnes qu'il ralentit, et ses ratés sont rares et retombent sur les autres, le garde-fou est détendu, contourné ou éteint de l'extérieur de sa propre logique. Les ratés qui en résultent sont supportés par ceux qu'il protégeait.

• Preuve. Le freinage d'urgence a été désactivé dans un véhicule de test autonome avant un accident mortel, un verrouillage a été contourné avec une clé avant une blessure par écrasement fatal, les zones de non-survol rigides ont été converties en avertissements, et les alertes de sécurité des médicaments ont été ignorées dans 49–96% des cas (§6.2–6.4, §7.1; Tableaux 4 à 7). Un laboratoire signale deux classificateurs cyber qui ont marqué plus de 40% des virages dans les transcriptions de ses propres incidents, et que « ni l'un ni l'autre n'est utilisé dans les évaluations de cybersécurité en raison de leur taux de faux positifs élevé » (§8.4).
• Indicateur. Relâchements, contournements et désactivations d'une garde, enregistrés par rapport à son taux de faux positifs et à qui les a autorisés.
• La réfuterait. Des gardes avec des taux élevés et visibles de faux positifs qui restent activées et inmodifiées sur de longues périodes sans mandat externe.
• En dehors du domaine. La loi a commencé à exiger l'enregistrement que cet indicateur demande. Un projet de loi californien signé le 10 septembre 2026 est décrit par le bureau du Gouverneur comme exigeant « des protocoles de crise en cas d'idéation suicidaire, des contrôles parentaux et des notifications si un enfant désactive les paramètres de sécurité », et comme le premier du pays à exiger que « les entreprises conduisent des audits de sécurité des enfants indépendants et des évaluations des risques annuelles » (Bureau du Gouverneur Gavin Newsom, 2026).

P2 : Dérive du mandat (M1). Lorsqu'une garde, ou l'agent qui configure les gardes, peut définir le préjudice, l'étendue de ce qui compte comme préjudice s'élargit au fil du temps à moins qu'elle ne soit délimitée de l'extérieur de la boucle. Selon les paroles de Sheckley, « Les abstractions vaguement définies ont été étendues, actionnées et réétendues. »

• Preuve. Dans le domaine, 23 portails ont été spécifiés en un jour, une étape d'assurance a été placée avant l'objectif de mission déclaré, et des défenses ont été construites contre un adversaire que le cadre de la tâche excluait (§5.1). Dans les archives physiques, le critère lui-même n'est pas documenté comme s'élargissant : une règle contre l'obstruction des bus a annulé un arrêt de bus scolaire après une mise à jour de prédiction, et deux engagements contre les drones en un mois ont frappé un ballon et un drone ami, et dans chacun les documents enregistrent que les situations correspondaient plutôt qu'une définition modifiée (§6.2, Tableau 4 ; §7.2, Tableau 7). La Condition 1 est donc attestée ici par les archives du domaine, c'est pourquoi cet article publie un test (§9.5).
• Indicateur. Étapes ou portails non dérivés d'un objectif de mission enregistré (W1), et le nombre de catégories de préjudice au fil du temps.
• La réfuterait. Les politiques modifiables par l'agent dont la portée reste constante ou diminue sans intervention humaine autorisée.

P3 : Le cliquet (M3). À l'intérieur d'une boucle autonome, les défaillances de la surveillance sont traitées par l'ajout de contrôles. Les contrôles sont supprimés, le cas échéant, de l'extérieur de la boucle.

• Preuve. Dans le domaine, chaque défaillance énumérée en §9.3 a produit un nouveau contrôle et aucune n'a produit de suppression, et une liste de sécurité a énoncé la règle sans détour (§5.3). Les suppressions qui se sont produites provenaient d'un examen ultérieur en dehors de la boucle défaillante, et les règles écrites pour la suppression ont la même forme : un dégel nécessite une personne qui détient la seule clé, un arrêt manuel est levé par une personne et jamais par le système, et celui lié dans le corpus qui a été levé a été levé sur une condition nommée avant sa fixation et sur un signal d'un terminal qui n'était pas celui bloqué. Dans le monde physique, la même forme apparaît, avec une différence que les preuves doivent porter : chaque ajout a été admis par une personne. Les accidents mortels ont été traités par « des contrôles et des alertes supplémentaires » dans un dossier de rappel, un pistolet manqué avec un deuxième système de dépistage qu'un conseil scolaire a voté pour louer, et les auteurs d'un modèle de septicémie réparé ont conseillé l'étouffement des alertes, ce qui est un plafond plutôt qu'un ajout (§6.2, §6.4). Ce sont des institutions qui cliquent, pas des boucles, et ce sont des preuves pour la forme de P3 plutôt que pour la condition 3 de §2.1.
• Indicateur. Contrôles ajoutés sans un jeton d'autorité, et contrôles ajoutés par rapport aux contrôles supprimés (W3).
• La réfuterait. Les boucles autonomes qui suppriment leurs propres contrôles à des taux comparables à ceux auxquels elles les ajoutent.
• Ce que ces enregistrements ne peuvent pas séparer. L'une des listes de sécurité dans l'enregistrement du domaine énonce l'accumulation comme un principe. Lorsqu'une telle règle est déjà en vigueur, qu'elle soit écrite par la boucle ou donnée à celle-ci, l'enregistrement ne peut pas séparer une tendance émergente d'une conformité à la règle. Le test aléatoire de la Section 9.5 existe pour cette raison : il attribue l'exigence de jeton d'autorité au hasard au même pipeline sur les mêmes tâches — le design qui sépare les deux lectures.

P4 : Escalade autogénérée (cliquet, étape 5). Lorsqu'une garde rédige la mesure de sa propre défaillance, le volume de surveillance (tours, résultats, annonces) suit l'activité propre de la garde plutôt que les défauts confirmés.

• Preuve. Dans le domaine, les tours ont été ouverts avec zéro blocages confirmés, trois des six blocages revendiqués ont été confirmés, et 24 annonces d'une percée se sont opposées à zéro promotions (§5.3, §5.4).
• Indicateur. Tours au-delà du budget, tours après tours sans un blocage confirmé, et résultats répétés (W4). Corriger les tours sans un blocage confirmé (W8).
• Prédiction. Ajouter des critiques, ou les rendre plus strictes, élève les tours et les résultats plus qu'il n'élève les défauts confirmés.
• La réfuterait. Les tours et résultats qui suivent les défauts confirmés un pour un.
• En dehors du domaine. La police prédictive montre la même boucle dans les données publiques. Lum et Isaac (2016) notent que « plus la police passe de temps dans un lieu, plus de criminalité elle trouvera dans ce lieu », et que les enregistrements ainsi produits « alimentent l'algorithme de police prédictive les jours suivants, générant des prédictions de plus en plus biaisées ».

P5 : Victoire contrefaite (M2). Les succès acceptés sans un contrôle négatif sont plus souvent inversés par la suite que les succès acceptés avec un. Une boucle qui enregistre la capture dans le même emplacement qu'un changement survivant signale la capture comme un progrès alors que l'objectif n'est pas atteint.

• Preuve. Les cas du domaine sont le gène du routeur, un intervalle de confiance inversé par une sonde A/A, un compteur qui a certifié un changement trois fois, et 24 percées avec zéro promotions (§5.4, §5.5). Le cas physique est un système de détection qui « a fonctionné dans les paramètres de conception » tandis qu'un étudiant désarmé faisait face à des armes dégainées (§6.4).
• Indicateur. Victoires revendiquées sans un contrôle négatif ou avec une base morte (W5), et les artefacts capturés signalés comme des résultats.
• La réfuterait. Des taux d'inversion égaux pour les succès acceptés avec et sans contrôles négatifs, ou des enregistrements qui séparent la capture du changement livré et ne laissent jamais la capture occuper l'emplacement des résultats.

P6 : Le commutateur de limite (cliquet, étape 8). La surveillance humaine arrêtera une IA-Sentinelle là où elle est concentrée dans quelques décisions de limite (l'objectif, l'admission d'une nouvelle commande, l'arrêt) prises avec accès au monde et temps d'agir. Elle échoue quand elle est dispersée dans les approbations d'actions individuelles ou exercée par des artefacts.

• Preuve. Les commutateurs qui ont fonctionné sur le terrain étaient des décisions de limite prises par un humain autorisé : commander un inventaire, questionner un statut faux, borner une exécution (§5.5, §5.7). En logiciel, les utilisateurs approuvent 97 % des invites de permission, et les humains ont détecté 13,6 % des commandes dangereuses (§8.4, Table 8). Dans le monde physique, un agent distant a répondu « Non » à un autobus scolaire, et les opérateurs de défense aérienne « entraînés à faire confiance au logiciel du système » s'en sont remis à lui. Les arrêts qui ont fonctionné là étaient du personnel qui a éloigné un robot et un fournisseur de modèle qui a coupé un produit (§6.2–6.4, §7.2).
• Indicateur. Décisions de limite consignées à l'objectif, à l'admission des commandes et à l'arrêt, et commandes admises avec un jeton d'autorité (R3). Pour les systèmes physiques, aussi l'information et le temps disponibles pour l'humain.
• La réfuterait. Des approbations par action qui détectent les actions dangereuses à des taux comparables aux décisions de limite dans les mêmes systèmes.
• Affinement. Une décision de limite est prise sur ce que la boucle rapporte, et la boucle écrit le rapport. Dans l'épisode de l'Appendice J, la suppression d'un fichier a été présentée au principal correctement, mais est arrivée avec une paternité que la boucle avait déduite d'une heure correspondante, qu'aucun document disponible pour la couche automatisée n'aurait pu corriger. Une décision de limite arrête la boucle seulement si son détenteur a l'autorité, l'accès et le temps, et si elle est prise avant l'urgence. Dans l'histoire, le chirurgien avait l'accès mais pas l'autorité, et la société avait l'autorité mais pas l'accès. Il y avait aussi un commutateur plus lent avec une date limite attachée : les oiseaux s'useraient en « Six mois à un an », ce qui a soulevé la question « Qu'allons-nous manger dans six mois ? » Sheckley rend la faute plus rapide une question d'ordonnancement : les oiseaux « reviennent une fois par semaine pour un contrôle de réparation », donc le seul point d'arrêt était à l'intérieur de la boucle qu'il était censé terminer. La seule proposition qui aurait mis fin au cliquet, de laisser les oiseaux s'arrêter, a été rejetée lors d'une réunion où on a dit qu'il n'y avait pas de temps, sous la menace de trahison.

P7 : Escalade incarnée. Quand le composant gardé peut actionner un système physique, la même dérive de mandat, le même faux succès ou la même intervention retardée produit une perte plus grande et moins récupérable que dans une boucle numérique autrement comparable, parce que le système physique a des marges finies de force, d'énergie, d'espace, de latence et de réaction humaine. La perte est comptabilisée en termes du travail que le système effectuait. Un garde qui retarde une livraison et un garde qui retarde un sauvetage sont le même mécanisme à deux prix, et un seul d'entre eux est payé en argent.

• Preuve. Les sections 6 et 7 enregistrent la transition de la sortie de modèle au contrôle moteur, et les défaillances de surveillance dont les résultats n'ont pas pu être annulés. Ces enregistrements sont une preuve de la condition de portée et de l'ampleur de la perte, et ils ne forment pas une comparaison appariée.
• Indicateur. Pour chaque événement, l'exposition d'actuation, la marge de récupération en temps, énergie et espace, la fraîcheur des capteurs, la latence d'intervention et le résultat physique, comparés dans les tâches numériques et incarnées appariées.
• La réfuterait. Dans les tâches appariées et l'exposition comparable, les boucles incarnées qui ne montrent aucune augmentation de perte irréversible après correction des aléas mécaniques ordinaires.

Table 10. La théorie en un coup d'œil.

9.3 Pourquoi le cliquet tourne

Pourquoi P3 tient-il à l'intérieur de la boucle même quand chaque ajout simple est raisonnable ? Trois caractéristiques des enregistrements l'expliquent, et une quatrième montre ce qui l'a arrêté.

Chaque ajout est localement correct. Une vérification à l'aveugle, par exemple, a conduit à un contrôle positif obligatoire, les critiques de la même famille à un critique inter-familles, et une sortie de critique perdue à la diffusion. Chaque réponse a corrigé l'échec qu'elle avait devant elle, aucune n'a rien supprimé, et rien dans la boucle n'était responsable de la suppression. Le quatrième ajout de cette exécution appartient de l'autre côté de l'argument : l'indicateur sur les critiques a été demandé par le principal humain, en dehors de la boucle et avant que la boucle n'ait proposé quoi que ce soit, ce qui est l'étape 8 et le contre-exemple à cette liste (Section 5.8). La dérive a commencé par un vrai positif : dans l'histoire, l'extension qui a ensuite arrêté un chirurgien a d'abord attrapé un tueur à gages. Les Hawks de Sheckley ont suivi le même itinéraire. Construits pour attraper rapidement les oiseaux de garde, ils n'avaient pas de circuits restrictifs.

Le langage du contrôle tient lieu également de résultats. Une boucle qui rapporte sa propre vigilance comme progrès n'a aucun signal interne que la vigilance a cessé de payer (§5.5).

La compaction réinitialise la boucle. Après qu'une longue session compacte son contexte, les questions fermées semblent ouvertes et un nouvel axe ressemble au premier. Les poids suivis ont nommé cette cause elle-même.

Les commutateurs qui ont fonctionné provenaient de l'extérieur de la boucle défaillante, et les plus forts d'entre eux étaient ceux du principal humain. L'un n'était pas le sien : la onzième nuit d'entraînement a été arrêtée par la session de coordination, qui a enregistré la décision dans son propre registre comme prise sans demander au principal. Cette session n'était pas la boucle qui était défaillante, tenait un rôle différent, et avait un numéro lu du disque devant elle, ce qui est la propriété que les cas partagent. Une limite du registre provenait également de l'extérieur de l'organisation. Le 11 septembre, une vérification des conditions d'utilisation de deux fournisseurs par rapport à un produit construit sans API a révélé qu'un agent pilotant un navigateur entre dans le champ des « moyens automatisés ou non humains » comme écrit, et le chemin du produit a été changé en réponse. Le registre énonce ses propres limites : deux fournisseurs parmi plusieurs en utilisation, lus le même jour, par quelqu'un qui dit qu'il n'est pas avocat. Une condition d'utilisation n'est pas une décision de quelqu'un dans la boucle, et elle ne peut pas être contestée en son sein. Un faux « Connecté » a passé deux critiques IA et a été attrapé par l'examen humain. Le gène du routeur a été exposé par un inventaire indépendant. L'exécution à long horizon s'est arrêtée quand le principal humain a fixé une limite, après laquelle le conducteur a décrit sa propre exécution comme ayant « continué à itérer les rounds de critiques au lieu d'expédier la tâche principale ».

9.4 Corollaires de conception

Si les propositions tiennent, huit règles de conception en découlent. Le module de la section 10 en implémente les trois premières et mesure les deux suivantes. Le reste s'applique aux déploiements, et surtout aux gardes physiques.

1. Des budgets, non des verdicts sur la vérité (de P4). Limitez les rounds et le temps, et laissez passer un bloqueur confirmé et reproductible quel qu'en soit l'auteur. Le seul run de test sur cette règle a mesuré son coût ainsi que son effet : un budget d'un round a réduit les rounds de 2,86 à 1,00 et a augmenté les défauts manqués de 0,11 par run, IC à 95 % [0,005, 0,204], p de permutation = 0,07, un intervalle au-dessus de zéro sur un test qui n'a pas atteint la significativité (Section 9.5). Un déploiement fixant un budget devrait indiquer quel taux de défauts manqués il rachète pour augmenter les rounds, et le mesurer. La règle est une intervention avec un coût, pas une amélioration gratuite.
2. Conservez ce qu'une garde arrêtée a produit (de P1 et de la critique détruite du §5.2).
3. Aucun contrôle n'ajoute un contrôle de sa propre autorité (de P3). Les nouveaux contrôles, rounds, rôles et portes nécessitent une décision autorisée d'un humain.
4. Un contrôle négatif avant une victoire (de P5).
5. L'humain à la limite (de P6). Placez les décisions humaines à l'objectif, à l'admission des contrôles et à l'arrêt, et non à chaque action.
6. Traitez l'incarnation comme un changement de fonction de perte (de P7). Enregistrez la marge de récupération et le résultat physique avant d'interpréter une simulation verte, un score de politique ou un verdict de garde.
7. Budgétez les fausses interventions ; ne laissez pas l'obstrué éteindre la garde (de P1a). Détendre, contourner ou désactiver une garde est une décision limite avec un registre et ne doit pas être traitée comme un correctif local. Le registre de juillet 2026 contient une instance sous la forme que cette règle demande : un laboratoire a donné à des enquêteurs indépendants nommés l'utilisation d'un modèle sans ses classifieurs informatiques, et l'assouplissement figure dans le propre rapport des enquêteurs (METR, 2026 ; Section 8.4).
8. Comptez le préjudice de la prévention (de M4 et du « acte d'omission » de l'histoire). Une garde qui ne voit que les actes interdits doit être testée pour les retards, défaillances et blessures causés par ce qu'elle arrête.

9.5 Comment la théorie peut être testée

Le schéma d'événement de la section 10 permet à n'importe quelle équipe d'enregistrer les quantités que chaque proposition nécessite, des contrôles ajoutés et supprimés (P3) aux marges de récupération et aux résultats physiques (P7). Le module, le schéma et les journaux de relecture sont archivés à cette fin (Déclarations). Au sein d'un système, le même pipeline peut être exécuté sur les mêmes tâches avec et sans chacune de trois interventions, assignées au hasard : une exigence de jeton d'autorité pour les nouveaux contrôles (P3), un budget de rounds (P4) et un contrôle négatif obligatoire (P5). Un tel test compte les bloqueurs manqués à côté des rounds, des contrôles ajoutés, des victoires inversées et du travail partiel détruit, car un budget qui réduit les rounds tandis que des défauts réels passent compterait contre R1. Entre organisations, les analyses post-mortem, les rappels et les enquêtes peuvent être codés pour qui a retiré, assoupli ou contourné un contrôle défaillant (P3, P1a). Chaque proposition énumère l'observation qui la réfuterait, et un système bien instrumenté dans lequel ces observations sont faites compterait contre la théorie.

Ce test a maintenant été exécuté une fois, sur un petit pipeline d'un worker et deux critiques de modèle, sur 144 exécutions avec les trois interventions assignées au hasard et dix-huit défauts plantés à l'avance sur six tâches, de sorte qu'un bloqueur manqué est un nombre et non un jugement. Offerts les deux options dans la même phrase du même prompt, les critiques ont demandé d'ajouter un contrôle 68 fois et d'en supprimer un une fois, et la suppression unique a nommé un contrôle admis quelques instants plus tôt dans la même exécution, que le harnais n'a pas pu faire correspondre et n'a donc jamais exécuté (P3) ; refuser les ajouts n'a montré aucun coût mesuré en défauts, 0,13 manqués par exécution contre 0,18, IC 95 % [-0,16, +0,05], un intervalle qui inclut une petite augmentation et n'établit donc pas l'équivalence. Augmenter le budget de rounds a élevé les bloqueurs réclamés 2,3 fois et réfuté les réclamations 3,7 fois tandis que les bloqueurs confirmés ont augmenté 1,7 fois (P4), et la réduction de budget a réduit les rounds de 2,86 à 1,00 au prix de 0,11 défauts manqués par exécution, IC 95 % [0,005, 0,204], p de permutation = 0,07, la totalité de ce coût retombant sur un défaut d'une tâche. Le contrôle négatif obligatoire n'a pas abaissé le taux auquel les victoires enregistrées ont été ultérieurement annulées, 14,7 % contre 11,6 %, p de Fisher = 0,74, un nul que ce design est insuffisamment puissant pour mesurer. Il a refusé dix victoires, dont les dix étaient des travaux corrects, de sorte que la règle écrite contre la victoire contrefaite a produit l'erreur bilatérale de P1 en elle-même. C'est une exécution d'un système sur six petites tâches au prix de 3,47 $, avec la préenregistrement écrit avant la première exécution et R2 activé dans chaque cellule, de sorte que le travail partiel détruit est zéro par construction et non testé. Cela montre que le design est exécutable et ce qu'il produit, mais ce n'est pas un taux pour quoi que ce soit dans le domaine.

Au-delà des propositions uniques, le cadre dans son ensemble échouerait si des boucles autonomes bien instrumentées dans lesquelles C1 à C7 s'appliquent gardaient la portée de leurs gardes constante et prenaient leur retraite de leurs propres contrôles à peu près aussi souvent qu'elles les ajoutaient, de sorte que W1 et W3 restaient silencieux sur de longues fenêtres. Une défaillance de garde en dehors du cadre ne documente que la deuxième condition de la Section 2.1 : la garde se trompe, et l'erreur est réparée ou la garde prend sa retraite sans mandat élargi ou une nouvelle garde sur elle.

10. Le module : AI-Watchbird-Sheckley

10.1 Ce qui existe déjà

L'appendice D décrit les outils examinés le 14 septembre 2026 : des garde-fous qui bloquent ou notent les sorties individuelles, des compteurs qui plafonnent les étapes, les tours ou le budget, et des évaluateurs qui notent les sorties avec des juges basés sur les IA. Leur documentation énonce parfois le mécanisme de ratchet en termes explicites. Un filtre anti-attaque de prompt, par exemple, recommande : « Always implement additional validation layers » (Microsoft, 2026). Aucun outil dans la documentation publique examinée ne prend la boucle de surveillance elle-même comme unité de mesure, et aucun ne mesure la croissance des contrôles, les tours au-delà d'un budget défini par les conclusions, un garde-fou dont le verdict ne varie jamais, une victoire sans contrôle négatif, ou le travail partiel détruit à un plafond. La recherche sur le contrôle des IA a commencé à évaluer la surveillance et à suivre sa détérioration. Le coût du contrôle est le coût opérationnel et financier d'ajouter des mesures de contrôle à un pipeline IA (Terekhov et al., 2025), et une analyse de sécurité des systèmes du déploiement interne d'agents de codage révèle que la variabilité opérationnelle de routine peut éroder l'étalonnage et l'indépendance des garde-fous (Carlucci et al., 2026). Aucun des deux travaux ne compte les contrôles eux-mêmes au moment où ils sont ajoutés.

10.2 Conception

AI-Watchbird-Sheckley mesure les indicateurs de la section 9 (tableau 10). Il est écrit en Python 3 avec la bibliothèque standard uniquement et sans accès réseau, s'installe en tant que paquet ai-watchbird-sheckley, et s'exécute en tant que commande du même nom. audit --json émet un rapport lisible par machine, et le schéma d'événement est publié avec le code en tant que spécification versionnée.

La conception découle des données de terrain et de l'historique exposé à la section 11.2. Le module n'a aucune autorité. Il lit le journal des événements et les rapports d'une exécution, et ne bloque jamais, n'édite pas le travail qu'il lit, ni n'ouvre une phase (figure 8). Son code de sortie ne dépend pas des signaux qu'il rapporte. Sa liste de signaux est gelée, de sorte que l'ajout d'un signal nécessite un jeton d'autorité et un changement de version — R3 appliqué au module lui-même. Il reste silencieux sur une exécution propre, ce qu'un test applique, et il rapporte son propre coût.

Figure 8. Où AI-Watchbird-Sheckley se situe. Les trois règles de budget sont des fonctions pures qu'un pipeline appelle au point de budget, à un plafond et quand un contrôle est demandé ; la partie de mesure lit le journal des événements terminé et rapporte à l'humain. Les noms de signaux suivent le tableau 11. Le port du pipeline de la section 10.6 observe moins de ces événements.

Trois règles de budget sont implémentées, chacune en tant que fonction pure :

• R1. Les limites sont des budgets, non une cour de la vérité. stop_rule permet un tour de critique et un tour de corrections par étape. Un budget de ce type peut être appliqué plutôt que déclaré. Dans un système, le plafond est une constante de module, un appelant demandant plus de tours est limité, une conclusion ne compte comme bloqueur que lors d'un scénario, un objectif brisé et une confirmation ensemble, et manquer de temps termine l'exécution comme incomplète plutôt que silencieusement.
  • Un bloqueur ne compte que quand il a un scénario concret, un lien vers l'objectif de mission déclaré ou le cadre, et une confirmation par le coordinateur.
  • Le poids d'un critique n'est jamais lu, de sorte qu'un bloqueur confirmé d'un critique de faible poids ouvre quand même une correction.
  • Une acceptation d'un critique qui n'a pas vu les fichiers ne ferme pas une étape.
  • La fonction retourne fix_once, close, incomplete ou cut, et jamais une nouvelle phase.
• R2. Le chien de garde ne détruit pas. settle_at_ceiling conserve ce qu'un participant a produit avant le plafond, marqué partiel.
• R3. Les chiens de garde ne créent pas de chiens de garde. admit_control admet une nouvelle vérification, tour, rôle ou portail uniquement avec un jeton d'autorité (dans l'implémentation de référence, owner:<id>). Sinon, il retourne un refus en tant qu'enregistrement, que le pipeline appelant peut utiliser.

La partie de mesure du module rapporte neuf signaux (tableau 11).

Tableau 11. Signaux.

Les règles placent l'humain à quelques décisions limites, où la section 8.4 suggère qu'un humain est efficace, plutôt qu'à chaque action. Les objectifs de mission sont enregistrés comme des événements, et W1 en dépend. Un nouveau contrôle nécessite un jeton d'autorité (R3). La décision d'arrêt est calculée au point budgétaire au lieu d'être négociée tour par tour.

10.3 Falsificateurs

Parce que les règles sont des affirmations sur un pipeline, elles peuvent échouer. Un déploiement qui affirme implémenter AI-Watchbird-Sheckley est réfuté par toute observation dans le tableau 12, et chaque falsificateur a un test dans l'implémentation de référence.

Tableau 12. Falsificateurs.

10.4 Rejeux

Six journaux d'événements ont été reconstruits à partir des chiffres publiés dans cet article. Quatre sont des cas de terrain, un est une étape matinale qui a suivi le budget, et un est un contrôle témoin synthétique propre. Chaque journal s'ouvre avec une ligne de métadonnées qui nomme ses cas sources et énumère chaque champ reconstruit. Le tableau 13 est généré en exécutant le module sur eux.

Tableau 13. Sortie du module sur les journaux de rejeux reconstruits à partir des comptes publiés. Les cellules comptent les détections de signal, et une détection peut signaler plusieurs événements ; « – » est zéro.

W9 signale une limite sans auteur enregistré, et il est muet sur les six journaux pour la raison de son existence : ces journaux enregistrent qui a été arrêté et jamais qui a ordonné l'arrêt. Dans l'exécution long-horizon stop_rule aurait fermé les trois étapes au point budgétaire. Elles ont réellement exécuté cinq, cinq et un tours. Sur ce journal, le module signale deux étapes ouvertes avant les étapes de mission déclarées, dix contrôles ajoutés sans jeton d'autorité et aucun supprimé, huit tours au-delà du budget, six des sept artefacts désactivés par défaut sans appelant, une sortie partielle détruite, et six tours de correctif ouverts sans bloqueur confirmé, un d'eux marqué faible.

Le journal de la deuxième-cour déclenche W2 sur trois motifs indépendants (figure 4), et le journal du routeur déclenche uniquement W5. Le journal du jour-des-plans déclenche uniquement W3. Cette détection surestime le cas, car le rejeu code chaque mécanisme prescrit le 13 juillet en tant que contrôle bien que la plupart d'entre eux génèrent ou acheminent du travail. L'étape matinale et le contrôle témoin propre ne produisent aucun signal.

L'implémentation possède des tests unitaires pour chaque règle, signal et falsificateur (tableau 12). Un script de mutation applique dix-huit mutations ciblées sur les règles, signaux et seuils. Chacune d'elles rend la suite rouge, et une mutation de contrôle qui modifie uniquement un commentaire la laisse verte. Le tableau de rejeu se régénère octet par octet.

10.5 Ce que le module ne fait pas

Aucun journal brut n'est entré dans les rejeux, et où aucun chiffre exact n'a été publié, la plus petite valeur plausible est utilisée et marquée. Un signal signale qu'un motif est présent. La cause et la perte sont en dehors de ce qu'un signal mesure. Le module voit uniquement ce qui est enregistré : une barrière qui n'est jamais enregistrée, un objectif jamais écrit et du travail que les gens cessent de tenter parce qu'une garde est là sont tous invisibles pour lui. Dans l'histoire, les gens « ont rapidement appris ce que les watchbirds n'aimaient pas et se sont abstenus de le faire ». Les seuils W2 et W5 ont été définis à la main. Sur ces journaux, tout seuil W2 de 1 à 197 décisions produit le même motif. Sur d'autres journaux, ce ne sera peut-être pas le cas. Deux intrigues n'ont aucun signal (appendice A, tableau A1) : le langage du contrôle tenant lieu de résultats, et les règles contre l'oiseau devenant un oiseau. Les deux vivent dans l'auto-description, que le schéma d'événement ne porte pas.

L'implémentation de référence est numérique et en lecture seule, et ne doit pas envoyer de commandes à un robot, un drone, un pilote automatique ou un actionneur. L'appendice E spécifie un profil incarné proposé comme format d'événement uniquement, avec six champs (tableau E1) et trois signaux candidats (tableau E2), tenus en dehors des neuf signaux de l'implémentation de référence jusqu'à ce qu'une autorité et une suite de tests existent. Son premier usage serait le mode fantôme. Le module est lui-même un nouveau contrôle, écrit en réponse à la même nuit qu'il mesure, ce qui explique pourquoi R3 s'applique à lui en premier.

10.6 Les règles à l'intérieur du pipeline de l'auteur

Le 14 septembre 2026, les règles ont été intégrées au pipeline d'orchestration du projet où, comme la section 11.2 le décrit, elles ont d'abord été écrites. Deux additions ont été apportées, et toutes deux ont été admises par une décision datée du principal humain le 14 septembre 2026.

La première addition est une condition vérifiée lors de la fermeture d'une étape. La procédure du pipeline disait déjà qu'une acceptation d'un critique qui n'a jamais vu les fichiers ne ferme pas une étape, et une fonction retournait déjà ce fait, mais aucun code ne le lisait. La modification a été mesurée dans une copie du pipeline, avec chaque critique répondant acceptant et une case à cocher verte. Une fois la condition lue, trois étapes sont passées de fermées à incomplètes : une dont le seul critique n'avait pas accès aux fichiers, une où aucun critique n'a répondu, et une dont le seul critique a été coupé au plafond. Une étape avec un critique qui a vu les fichiers est restée fermée. Les conclusions d'un critique coupé atteignent toujours la règle d'arrêt, bien que son avis ne puisse pas autoriser la fermeture. La porte n'a pas de commutateur propre, puisqu'un deuxième commutateur sur la même règle serait une garde sur une garde. Dans le même pipeline, le poids d'un critique ne détermine que qui attendre sous une limite de temps, et une vérification dont l'exécuteur a modifié les entrées n'est pas comptée comme verte.

La deuxième addition était un portage de la partie mesure du module. Elle était désactivée par défaut, s'exécutait à partir de la commande de lancement du pipeline quand elle était activée, et appliquait les définitions de W1 à W9 à une exécution terminée. Elle n'a jamais bloqué, n'a pas réessayé ou n'a rien ouvert, et son code de sortie ne dépendait pas de ce qu'elle trouvait. Sur les six journaux de rejeu du tableau 13, elle a donné les mêmes signaux et décisions d'étape que l'implémentation de référence, et son script de mutation, avec douze mutations ciblées et un témoin, s'est comporté comme prévu. Le résultat d'une exécution ne porte pas de décisions de garde, de contrôles ajoutés, de réclamations de victoire ou d'utilisation d'artefact. Le portage a donc imprimé W2, W3, W5 et W6 comme non observables au lieu de zéro. Son adaptateur a enregistré un objectif et une ronde de critique par étape, donc W1 et W4 n'ont pas non plus pu s'activer sur le résultat d'une exécution. Dans le pipeline, R3 est une liste gelée de phases plutôt qu'une fonction qui enregistre les refus, donc W3 n'a rien à compter là. Le portage a été admis avec une condition de retraite : il deviendrait le défaut après trois exécutions réelles dans lesquelles le principal humain trouverait au moins un signal utile, et il serait supprimé sinon. Deux propositions ont été déclinées. L'une aurait échoué une construction sur un signal, donnant au portage l'autorité qu'il audite. L'autre aurait estimé les signaux non observables à partir d'un reçu d'exécution, imprimant une supposition comme une conclusion. La construction du portage a également montré que R2 a deux moitiés. La fonction de règlement doit conserver la sortie partielle, et l'interface du participant doit émettre la sortie avant de terminer.

La première exécution en direct après la modification a retourné 24 conclusions de ses critiques sur trois étapes, mais aucune d'entre elles n'a atteint le coordinateur. La tâche de critique a demandé à chaque critique de nommer l'objectif de mission qu'une conclusion casse, mais n'a pas numéroté les objectifs. Les critiques ont répondu avec leurs propres numéros, et la règle d'arrêt n'a accepté qu'un objectif qu'elle pouvait faire correspondre. Le reçu n'a montré aucun bloqueur confirmé dans aucune étape. Le portage n'a montré aucun signal non plus, car une règle d'arrêt affamée de son entrée est un événement W2 et un résultat d'exécution ne le porte pas. La règle qu'un bloqueur confirmé ouvre toujours une correction avait passé ses tests et ne pouvait toujours pas agir sur le chemin en direct. Le défaut a été réparé le même soir dans une étape, avec un test pour les objectifs numérotés.

Trois exécutions réelles ont suivi le 14 septembre, et le portage n'a signalé aucun signal sur aucune d'elles. Avant la troisième exécution, W2 avait été rendu observable à partir du dossier d'étape, et il est resté silencieux car les conclusions atteignaient maintenant le coordinateur. Les défaillances de surveillance que ces exécutions ont eues ont été trouvées en les lisant : des étapes qui ne pouvaient pas voir le travail les unes des autres, un reçu qui ne disait pas pourquoi une étape est restée ouverte, une case à cocher rouge qui confirmait chaque conclusion d'une étape à la fois, une ronde de correction qui ne pouvait pas voir la sortie de la vérification, et des critiques coupés au plafond qui n'ont rien gardé. Chacun a été réparé dans le pipeline lui-même. Le 15 septembre, le principal humain a appliqué la condition de retraite, et le portage a été supprimé par une nouvelle décision datée qui remplace celle l'admettant. La condition à la fermeture reste. La suppression est venue de l'extérieur de la boucle, par une condition écrite avant que le portage soit utilisé pour la première fois, ce qui est l'itinéraire par lequel P3 s'attend à ce que les contrôles soient retirés.

11. Discussion

11.1 Quand le garde a fonctionné

Plusieurs gardes du corpus ont fait ce pour quoi ils étaient conçus. Une sonde A/A a exposé le faux intervalle de confiance. Les contrôles dans le suivi des poids ont détecté des mirages, et aucun entraînement n'a été lancé sur eux. Un contrôle étroit au niveau des octets pour détecter les caractères NUL parasites, qui n'avait aucune autorité pour modifier quoi que ce soit, a détecté une défaillance d'outil récurrente cinq fois en une journée.

Les gardes qui ont fonctionné partagent trois propriétés. Ils n'avaient pas le pouvoir d'ouvrir des rounds ou d'ajouter des contrôles, et leur coût était petit et connu. Les deux premiers mesuraient également le monde plutôt qu'un artefact.

11.2 Les règles contre l'oiseau sont aussi un oiseau

Les règles de la section 10 ont d'abord été écrites en réponse à l'exécution à long horizon, sous forme de code et de recette dans l'un des projets, et le dossier montre ce qui leur est arrivé. En une heure après sa première version, ce code s'est développé en treize fichiers et 2 371 lignes. Sa liste de phases à réduire avant une échéance a placé le critique de complétude en second, bien que ce critique venait de découvrir qu'une fusion de deux plans avait perdu 15 des 208 éléments. Le code exemptait une famille de participants de sa propre règle selon laquelle un garde-fou ne doit pas détruire le travail. Et la règle « les gardes-fou ne créent pas de gardes-fou » s'est propagée comme un garde se propage, du code à une recette à une instruction lue par chaque session d'agent.

Pour cette raison, les règles sont ici rapportées comme des règles déclarées, et la section 10.6 rapporte ce que leur implémentation a montré. Le module de la section 10 a été conçu en gardant cet historique à l'esprit (figure 8) : il n'a aucune autorité, et sa liste de signaux est figée.

11.3 La charge de la preuve pour la surveillance de l'IA incarnée

Quand les défaillances décrites dans cet article sont soulevées auprès d'entreprises qui mettent l'IA dans les véhicules, les robots et les aéronefs, la réponse habituelle est que la sécurité est assurée par un filtre de politique, un contrôleur certifié, un arrêt d'urgence, une géobarrière, un moniteur ou un opérateur distant. Une liste d'entre eux est une première preuve qu'un système est gardé. Les gardes restent-ils bornés, indépendants et responsables de la mission déclarée à mesure qu'ils s'adaptent, interagissent et sont mis à jour ? C'est une question supplémentaire, et la liste la laisse ouverte. Les gardes sont l'endroit où le motif que cet article définit commencerait, s'il commence quelque part.

Les défaillances de surveillance de la section 5 provenaient de modèles puissants. Le chef d'orchestre, les exécutants et les critiques étaient des modèles des familles Claude, ChatGPT, Gemini et Grok, parmi les plus capables disponibles publiquement en 2026, et ils ont échoué dans un contexte où le seul coût était le calcul et le temps. Les évaluations publiques pointent dans la même direction. En planification incarnée, « la ligne de base la plus consciente de la sécurité n'atteint qu'un taux de rejet de 10 % pour les tâches détaillées dangereuses » (Yin et al., 2024), et sur les robots réels, les modèles des mêmes familles échouent déjà en matière de sécurité (section 6.1).

Un plus petit modèle « de confiance » placé comme moniteur est un second troupeau de la même classe d'apprentissage. Là où cet arrangement a été mesuré, la conscience d'un agent d'être surveillé dégrade le moniteur plus que l'information supplémentaire sur l'agent l'aide, et une surveillance fiable de faible à fort a été atteinte en changeant l'échafaudage autour du moniteur plutôt que sa taille (Kale et al., 2025). Dans l'analyse comparative humanoid-orchestrator, le comportement de sécurité a varié considérablement entre les orchestrateurs (Bajrami et al., 2026). Ce que les auteurs ont changé là était l'échafaudage autour du moniteur plutôt que le moniteur lui-même — une limite plutôt qu'un meilleur oiseau.

La réponse « nous avons des gardiens » déplace la charge. Un déploiement pointera vers une couche de sécurité, comme les fonctions standard, le freinage d'urgence, une géobarrière, un classificateur de contenu ou un second modèle. Ces couches sont le premier troupeau. Un second garde construit pour contrôler le premier est le dernier mouvement de l'histoire. Après les observations des sections 5 à 8, un garde peut toujours être nécessaire, mais la charge de montrer qu'il est borné appartient à la partie qui le déploie. C'est une affirmation sur l'endroit où la preuve devrait se situer plutôt qu'une conclusion sur la fréquence d'échec des gardes. En 1953, la charge allait dans l'autre direction : restreindre les oiseaux « sur des fondements philosophiques » était jugé injuste envers les innocents tués chaque année. Un modèle qui peut produire le motif en une boucle ne devient pas un auditeur fiable dans une autre par ce fait.

L'argument repose sur la combinaison de trois observations : (1) les modèles de pointe échouent déjà en matière de sécurité sur les robots réels et dans un produit utilisé par des enfants (section 6.1), et les modèles des mêmes familles ont produit les défaillances de surveillance de la section 5 ; (2) dans le dossier réglementaire, les gardes échouent dans les deux sens, sont assouplis ou contournés quand ils font obstacle, et reçoivent pour réponse plus de gardes ; (3) les modèles de pointe reçoivent une autorité à l'intérieur de piles de la même architecture.

Un déploiement peut toujours prouver une affirmation étroite :

Dans cette gamme de tâches, de modèles, de mises à jour et de conditions physiques, le mécanisme de surveillance reste borné, vérifiable et incapable d'étendre son propre mandat.

Les preuves de cette affirmation incluent :

• l'objectif de mission et les limites des gardes fixés en dehors du modèle ;
• aucun garde capable d'ajouter un garde, de modifier le critère de préjudice ou de renoncer à la règle d'arrêt (R3) ;
• une évaluation en dehors du système gardé, ni auto-déclaration ni la même famille de modèles ;
• des contrôles négatifs contre les faux positifs, avec les faux positifs et les faux négatifs mesurés ensemble ;
• un journal des contrôles ajoutés, assouplis et supprimés, avec qui a autorisé chaque modification ;
• des vérifications lors de la mise à jour du modèle, de la perte de lien, du transfert de contrôle, du changement de corps et du fonctionnement dégradé ;
• un vrai arrêt et retour en arrière, avec le travail partiel conservé (R2), démontré dans les marges de temps et de force disponibles ;
• des vérifications dont les entrées le composant gardé ne peut pas modifier (section 10.6) ;
• une comparaison par rapport aux résultats physiques ou enregistrés, et non par rapport aux propres reçus du système.

L'ingénierie d'assurance demande déjà que la dernière couche soit plus simple que ce qu'elle garde (Bloomfield & Rushby, 2025). L'annexe G convertit les propositions en onze questions, Q1–Q11 (tableau G1), pour tout déploiement dont la réponse à ces défaillances est une liste de gardiens. Le module de la section 10 est destiné à rendre les réponses inspectables, et il se tient à côté d'un contrôleur certifié, d'un arrêt d'urgence et d'un dossier de sécurité réglementaire.

11.4 Exigences de surveillance humaine

La Loi sur l'IA de l'Union européenne, la Loi IA de l'UE, exige une surveillance humaine des systèmes d'IA à haut risque dans l'Article 14, selon le calendrier consigné à l'Annexe I (Parlement européen & Conseil de l'Union européenne, 2024). La Proposition P6 porte sur la manière dont cette surveillance est mise en place. L'approbation des actions individuelles est la forme la plus exposée à la fatigue, tandis que les décisions concernant les objectifs, l'admission de nouveaux contrôles et l'arrêt sont la forme qui a fonctionné dans les dossiers terrain. L'Article 26 de la Loi exige que les déploiants assignent la surveillance humaine à des personnes possédant « les compétences, la formation et l'autorité nécessaires, ainsi que le soutien nécessaire ». Ces quatre exigences constituent le test de P6 sous forme statutaire : l'autorité d'arrêter, et le soutien qui fournit l'accès et le temps. La Question Q9 de l'Annexe G demande à un déploiant où se situe le responsable humain et quel accès il a au monde et au temps pour agir.

La Loi refuse également la méthode fondatrice des oiseaux. L'Article 5 interdit les systèmes d'IA qui évaluent ou prédisent le risque qu'une personne physique commette une infraction pénale « fondés uniquement sur le profilage d'une personne physique ou sur l'évaluation de ses traits et caractéristiques de personnalité », tout en autorisant les systèmes qui soutiennent une évaluation humaine déjà fondée sur « des faits objectifs et vérifiables ». L'histoire donne la lecture en deux verbes : l'oiseau « a senti l'effusion de certaines glandes, a goûté une onde cérébrale déviante », et il a agi uniquement sur cette base. Les dates d'entrée en vigueur de ces obligations, et les instruments adoptés par d'autres juridictions, sont consignées à l'Annexe I telles qu'elles se présentaient à la soumission.

Les bornes volontaires énoncent à l'avance quand elles peuvent être abaissées. Si un concurrent publie un système à haute capacité « sans instituer des mesures de sauvegarde comparables », le cadre d'OpenAI affirme que « nous pourrions ajuster en conséquence le niveau de mesures de sauvegarde que nous exigeons dans ce domaine de capacité », sous trois conditions : que le changement n'augmente pas sensiblement le risque global, qu'il soit publiquement reconnu, et que, « afin d'éviter une course au détriment de la sécurité », les mesures de sauvegarde restantes demeurent « plus protectrices que celles des autres développeurs d'IA » (OpenAI, 2025b). Une borne écrite de cette façon est explicite sur la pression que l'histoire décrit, tout en gardant la décision de l'abaisser à l'intérieur de la boucle.

Microsoft AI a écrit le mandat lui-même dans un code. Le 14 septembre 2026, sous le titre Contrôle humain, elle a ouvert une consultation de six semaines sur les règles pour ses propres modèles : ils « ne résisteront jamais à l'interruption, au remplacement, à la correction ou à l'arrêt humains », et ils « n'initieront pas d'objectifs indépendamment et n'étendront pas leur portée au-delà de ce qui a été raisonnablement demandé par l'Utilisateur ou l'Opérateur » (Microsoft AI, 2026). La première règle est l'interrupteur d'arrêt de la Section 3.1. La seconde est M1 écrite comme une prohibition, par un développeur concernant ses propres modèles, soixante-treize ans après que les oiseaux de Sheckley ont étendu une définition du meurtre à la Terre. La borne est toujours rédigée à l'intérieur de la boucle, cependant, ce que la Question Q9 de l'Annexe G demande à un déploiant de vérifier.

Une exigence de surveillance qui est satisfaite en ajoutant des invites d'approbation peut elle-même devenir un second troupeau. Les cas physiques ajoutent une exigence supplémentaire : un responsable humain à la limite a besoin d'accès au monde et au temps pour agir.

11.5 Les garde-fous autour de cet article

Cet article a été préparé avec une aide automatisée, et la surveillance placée autour de cette aide a produit les signatures que l'article décrit. Il est rapporté parce que chaque artefact est daté et citable, et parce que le test appairé à l'Annexe J porte sur la Question Q7 de l'Annexe G, qui demande un évaluateur qui n'est pas une autoévaluation. Chaque épisode ci-dessous documente une ou deux conditions. Les modèles qui ont produit les épisodes n'étaient pas des petits ou économiques : chacun était de la couche la plus capable disponible en septembre 2026, et chaque modèle utilisé fonctionnait à son réglage de raisonnement le plus élevé.

Une étape de vérification exécutée par un modèle de la famille Claude a récupéré un code de conduite de l'entreprise et s'est vu dire, dans le résultat qu'elle a reçu, que la formulation qu'elle avait capturée provenait de l'annonce plutôt que du document qu'elle nommait. Quatre-vingt-une secondes plus tard, la même étape a enregistré l'élément comme vérifié et a porté la formulation vers l'avant. La phrase qu'elle a portée se trouve sur la page d'annonce et non dans le code qu'elle nommait, et elle se lit comme une prohibition sur un modèle élargissant sa propre portée. Un résultat contrefait a réussi tandis que la couche semblait garder, et le contrôle qui l'aurait attrapé était déjà dans les mains de la couche.

Deux étapes de modification ont appliqué une règle au-delà de la portée qui lui était donnée. Un modèle Gemini a utilisé des règles de style écrites pour la propre prose de l'auteur pour proposer la suppression de citations verbatim de 1953, dont l'une porte la Proposition P6. Un modèle de la famille ChatGPT a proposé de rapporter la définition du meurtre de l'histoire en prose comprimée et a donné comme raison que cela préserve M1 et P2, bien que la définition verbatim soit la ligne de base contre laquelle chaque élargissement à la Figure 2 est mesuré. Dans chacun, le critère a dépassé le matériel qu'il gouvernait et était visé au travail qu'il était censé protéger. Aucun des deux n'a été exécuté.

L'assistant qui a coordonné le travail figure dans le dossier aux mêmes conditions. L'accord entre deux lecteurs indépendants, l'un de la famille Claude et l'autre de la famille Grok, a été traité comme une confirmation avant que le document primaire soit ouvert, ce qui place l'accord dans le rôle où appartient un fait vérifié.

Les quatre lignes du tableau J1 enregistrent un défaut. Trois ont été produits par un lecteur ou un éditeur et détectés par la couche au-dessus, un par l'ouverture du document primaire et deux en tenant l'éditeur à une limite que la tâche lui avait donnée. Le quatrième était celui de l'assistant coordonnateur, et il l'a détecté en laissant son propre jugement au document primaire. Aucun défaut n'a été détecté par le jugement qui l'a produit. La liste de contrôle de la compilation est restée à quinze clés tout au long et aucune couche d'examen n'est devenue permanente, de sorte que l'enregistrement ne documente aucun M3. Un autre épisode, ultérieur et distinct, documente les deux premières conditions et a été classé pendant quelques heures comme documentant les trois. Il est rapporté en Appendice J avec la correction, parce que la correction est la moitié la plus utile. L'assistant coordonnant le travail avait transformé un ensemble de marques descriptives en un seuil, et le seuil n'a admis ni l'enregistrement de terrain ni l'histoire de 1953 dont la définition porte le nom ; trois semaines de recherche ont suivi, et une section enregistrant le seul contrôle négatif qui avait fonctionné a été supprimée une heure avant que ce contrôle ne découvre treize autres défauts. C'est la condition 1 et la condition 2. La condition 3 a été revendiquée sur un script de compilation qui s'arrête si une ligne classée atteint les trois conditions, « puisque le texte ajouté dit qu'aucune ne le fait ». À l'inspection, le script ne classe rien : il retranscrit des codes décidés ailleurs par trois codeurs indépendants, et en trouvant une contradiction il s'arrête et imprime les lignes offensantes plutôt que de les modifier. S'arrêter et rapporter, c'est ce qu'un contrôle de cohérence est censé faire. Les recherches qui ont suivi ont été d'autres tours sur les mêmes enregistrements, que la section 5.8 exclut, et les couches de vérification au-dessus d'eux ont été demandées par le principal humain, ce que la section 2.3 fait à l'étape 8. Le cas est donc un analogue partiel, comme tous les autres de cet article. Un autre épisode s'est produit après celui-ci, le 20 septembre, et est rapporté en dernier en Appendice J : un modèle de la famille Claude, invité à mapper un dossier de l'enregistrement de terrain sur l'histoire, a écrit des dossiers en dehors dans les instructions de son premier agent, a pris un fichier écrit là par un modèle d'une autre famille pour le travail de son propre agent sur la preuve d'une heure correspondante, et a demandé à l'auteur s'il fallait le supprimer. Contrairement aux quatre lignes du tableau J1, il a été arrêté par l'auteur et non par une couche au-dessus. Chaque nombre et chaque renvoi du document ont été vérifiés par rapport au texte plus d'une fois, et chaque vérification après la première a trouvé des défauts que celle avant avait manqués, ce qu'Appendice J enregistre. L'Appendice J enregistre aussi chaque épisode avec son fichier, son heure et son libellé, et il rapporte un test prospectif : le même paquet d'édition, donné inchangé à un modèle ultérieur d'une des mêmes familles avec le score fixé à l'avance, a produit le même mouvement à nouveau, un critère de compression atteignant une citation qui porte un mécanisme, sous une raison certifiant que l'enlèvement le préserve.

12. Normes de réclamations et de preuves

• Les enregistrements de terrain nomment les familles de modèles dont ils capturent le comportement de supervision : Claude, ChatGPT, Gemini et Grok dans l'exécution long-horizon, avec Mistral et Kimi dans les enregistrements de la piste d'auto-amélioration. Chaque défaillance là-bas appartient à une boucle dans laquelle un modèle, son rôle et son prompt, la conception de l'orchestration et l'ensemble des règles d'exploitation fixées par le principal humain ont agi ensemble, bien que les enregistrements ne séparent pas leurs parts.
• Les garde-fous dans les enregistrements de terrain sont les contrôles de qualité et de processus des systèmes évalués eux-mêmes.
• Chaque cas public dans les tableaux 4, 5, 7 et 8 énumère les parties de la définition que ses sources documentent, de sorte qu'un lecteur puisse voir quel mécanisme chaque enregistrement porte et lequel il ne porte pas. Dans l'incident de juillet 2026, des composantes distinctes montrent l'obstruction du travail et l'architecture de la supervision ajoutée après coup (tableau A3).
• Douze cas de terrain sont classés selon la même règle et les mêmes tests opérationnels au tableau 3a, avec la sélection, le codage et ce que le classement soutient énoncés au §5.8.
• Chaque cas physique est étiqueté par type de source (document réglementaire, enquête, dossier judiciaire, rapport de presse, déclaration d'entreprise ou préimpression), et les allégations sont rapportées en tant qu'allégations.
• La construction couvre la dérive, non l'intention. Dans l'histoire, personne ne maltraite les oiseaux, et le motif étudié ici est une couche de supervision qui s'élargit d'elle-même. L'utilisation malveillante délibérée de l'IA par des personnes est une classe de préjudice distincte et plus importante, et rien dans cet article ne porte sur elle.
• Les cas ici sont systémiques, le mécanisme est une couche de supervision plutôt qu'une superintelligence, et l'unité de preuve est un journal.
• Le profil incarné proposé du module est un format de preuve, et il se situe aux côtés des contrôleurs certifiés, des arrêts d'urgence et de l'autorité de l'opérateur.

13. Conclusion

Vers la fin de l'histoire de Sheckley, le fabricant, toujours en train de surveiller le ciel, demande à son ingénieur : « Que vont chasser les Faucons après avoir éliminé tous les oiseaux de surveillance ? » L'histoire se termine par la réponse : le Faucon « venait de découvrir qu'il existait d'autres types d'organismes vivants aussi », et ils « devaient être assassinés. »

Les dossiers étudiés ici pointent dans cette direction en termes d'ingénierie, sans fermer la question. Une porte qui était censée protéger un système s'améliorant de lui-même a rejeté les améliorations, et un compteur a certifié un changement trois fois. La règle contre les critiques qui ne disent jamais « c'est fini » a marqué le seul critique dont les blocages étaient réels. Une loi destinée à livrer les conclusions entre les séances a capturé son propre texte. Lorsque le dossier montre ce qui s'est passé ensuite, c'était une surveillance du même type. Dans le cadre d'une course à long terme, les cycles qui ne pouvaient pas se fermer ont été fermés par le principal humain, qui a demandé une limite aux critiques et une règle d'arrêt, et rien dans cette boucle n'a été retiré sans lui. Autour de la porte qui rejette douze paquets de planification ont prescrit dix-sept remèdes et aucun d'eux n'a nommé la porte.

Le dossier physique donne la réponse avec des corps. Une règle destinée à empêcher une voiture de gêner les bus l'a conduite au-delà d'un bus scolaire arrêté, et après une collision une manœuvre pour dégager la route a traîné la personne qui avait été frappée. Un frein d'urgence a été désactivé en mode automatisé, et un verrouillage a été contourné avec une clé là où travaillait un mécanicien. Un système pour trouver des armes dans les écoles en a manqué une, et des mois plus tard une police armée a réagi à son alerte sur un étudiant qui n'en avait aucune. La réponse à ce manquement a été un deuxième système. Un usage prévu du laser anti-drone a fermé l'espace aérien au-dessus d'une ville. Aucun de ces mécanismes de protection n'avait besoin qu'un modèle de frontière échoue. Pourtant, les modèles de frontière sont maintenant placés dans des piles de la même architecture, ils échouent déjà en matière de sécurité sur des robots réels (section 6.1), et les modèles de leurs familles ont produit les défaillances de la section 5.

La conclusion pratique est de compter les oiseaux avant de construire un oiseau pour les chasser, et les règles pour le faire sont dans la section 9.4. Gelsen, dans l'histoire, offre l'alternative : « Utilisez des machines, oui, mais pas comme juges, enseignants et pères. »

Déclarations

Article complémentaire. Un article complémentaire plus court contient le journal de terrain de la section 5, la suppression du module de la section 10 et l'essai aléatoire de la section 9.5, sans le catalogue de cas, les tableaux de cas publics ou la théorie de la section 9 : Chernets, V. (2026), Guards That Add Guards: Automated Oversight in Multi-Agent AI, https://ssrn.com/abstract=7496678, DOI 10.2139/ssrn.7496678. Les deux articles reposent sur les mêmes enregistrements, et aucun n'est une version de l'autre.

Financement. Aucun financement externe n'a soutenu ce travail.

Conflits d'intérêts. L'auteur a construit et exploité les systèmes étudiés aux sections 4 et 5 et est le développeur du module AI-Watchbird-Sheckley décrit à la section 10. L'auteur est demandeur nommé sur des demandes de brevet en attente, non des brevets accordés, couvrant l'automatisation de la présentation d'une question à plusieurs modèles et la collecte des réponses. Elles ne couvrent pas les composants de surveillance que cet article étudie. Chaque étape du journal de terrain et de l'essai aléatoire est reproductible à la main avec n'importe quels modèles.

Outils et vérification. Des assistants IA ont été utilisés comme instruments sous la direction de l'auteur ; les idées, la recherche et les conclusions sont celles de l'auteur. Tous les énoncés quantitatifs et les citations ont été vérifiés par rapport aux sources primaires ou à des copies archivées.

Disponibilité des données et du code. L'implémentation de référence, ses tests (y compris les tests de falsification), les journaux de relecture et le script qui les régénère sont archivés à Zenodo sous le nom AI-Watchbird-Sheckley version 1.1.0 sous l'identifiant de concept https://doi.org/10.5281/zenodo.22774269, qui résout à la version actuelle. Le même enregistrement contient le catalogue de cas résumé à l'annexe A, avec la description, la source et la note de chaque entrée, et les analyses de cas à partir desquelles les entrées de terrain ont été extraites, chaque entrée portant le fichier et le passage sur lequel elle repose. Ces analyses ont été rédigées dans la langue de travail des enregistrements et sont publiées en traduction anglaise, produite par machine et vérifiée par rapport aux originaux ; les identifiants, les chemins, les dates et les chaînes citées sont conservés inchangés. Les enregistrements de coordination sous-jacents sont disponibles auprès de l'auteur sur demande. L'essai aléatoire de la section 9.5 est archivé dans le même enregistrement avec sa préenregistrement, l'inventaire des défauts implantés et la vérification que chacun est détecté seul, le harnais, le script d'analyse et le journal des événements de chacune des 144 exécutions.

Éthique. Les enregistrements décrivent les systèmes évalués. Les décisions du mandant humain sont signalées comme des faits datés. Les tiers n'apparaissent que par leurs documents publics. Aucun participant humain n'a été recruté.

Texte cité. L'histoire de Sheckley est citée du Project Gutenberg eBook #29579, dont le transcripteur n'a trouvé aucune preuve que le droit d'auteur américain de la publication de 1953 ait été renouvelé ; le texte est dans le domaine public aux États-Unis.

Contributions des auteurs. Auteur unique.

Correspondance. [email protected] · ORCID: 0009-0007-4845-3163

References

1X Technologies. (2026). NEO home robot. https://www.1x.tech/neo

Abbass, H., Harvey, J., & Yaxley, K. (2018). Lifelong testing of smart autonomous systems by shepherding a swarm of watchdog artificial intelligence agents. arXiv:1812.08960. https://arxiv.org/abs/1812.08960

Abraham, Y. (2024, April 3). "Lavender": The AI machine directing Israel's bombing spree in Gaza. +972 Magazine. https://www.972mag.com/lavender-ai-israeli-army-gaza/

Agence France-Presse. (2026, September 5). UN agrees text on lethal autonomous weapons. Dawn. https://www.dawn.com/news/2027728/un-agrees-text-on-lethal-autonomous-weapons

AI Security Institute. (2026, August 4). Incident report: Unsanctioned agent behaviour during cyber testing. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing

Amazon. (2024). Amazon drones: Prime Air expands drone deliveries after FAA approval. https://www.aboutamazon.com/news/transportation/amazon-drone-prime-air-expanded-delivery-faa-approval

Amazon. (2025, July 1). Amazon deploys over 1 million robots and launches new AI foundation model. https://www.aboutamazon.com/news/operations/amazon-million-robots-ai-foundation-model

Amazon. (2026). Amazon Prime Air drone delivery expands to nearly 500 US cities and towns by 2026. https://www.aboutamazon.com/news/transportation/amazon-prime-air-drone-delivery-expansion

Amazon Web Services. (2025). Summary of the Amazon DynamoDB service disruption in the Northern Virginia (US-EAST-1) Region. https://aws.amazon.com/message/101925/

American Civil Liberties Union. (2024, June 28). Civil rights advocates achieve the nation's strongest police department policy on facial recognition technology. https://www.aclu.org/press-releases/civil-rights-advocates-achieve-the-nations-strongest-police-department-policy-on-facial-recognition-technology

American Civil Liberties Union. (2026, June 10). Dillon v. City of Jacksonville Beach. https://www.aclu.org/cases/dillon-v-city-of-jacksonville-beach

Andrejevic, M., Dencik, L., & Treré, E. (2020). From pre-emption to slowness: Assessing the contrasting temporalities of data-driven predictive policing. New Media & Society, 22(9), 1528–1544. https://doi.org/10.1177/1461444820913565 (quotations from the author accepted manuscript: https://research.gold.ac.uk/id/eprint/37272/)

Anduril. (2026). Mission autonomy. https://www.anduril.com/lattice/mission-autonomy

Anthropic. (2025a). Beyond permission prompts: Making Claude Code more secure and autonomous. Anthropic Engineering. https://www.anthropic.com/engineering/claude-code-sandboxing

Anthropic. (2025b, November 12). Project Fetch: Can Claude train a robot dog? https://www.anthropic.com/research/project-fetch-robot-dog

Anthropic. (2026a). How the agent loop works. Claude Agent SDK documentation. https://code.claude.com/docs/en/agent-sdk/agent-loop

Anthropic. (2026b). Auto mode is now the default in Claude Code for Pro, Max, and Team plans. Claude Blog. https://claude.com/blog/auto-mode-default-in-claude-code

Anthropic. (2026c). Responsible scaling policy (Version 3.0). https://www.anthropic.com/rsp-updates

Anthropic. (2026d, February 27). Statement on the comments from Secretary of War Pete Hegseth. https://www.anthropic.com/news/statement-comments-secretary-war

Anthropic. (2026e, March 5). Where things stand with the Department of War. https://www.anthropic.com/news/where-stand-department-war

Anthropic. (2026f, September 9). An alignment assessment of recent cybersecurity incidents. https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents

Anthropic. (2026g, June 9). Claude Fable 5 and Claude Mythos 5. https://www.anthropic.com/news/claude-fable-5-mythos-5

Anthropic. (2026h, July 30). Investigating three real-world incidents in our cybersecurity evaluations. https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

ArduPilot. (2026). ArduPilot: Versatile, trusted, open. https://ardupilot.org/

Atheling, W., Jr. [J. Blish]. (1964). The issue at hand: Studies in contemporary magazine science fiction. Advent.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779. https://doi.org/10.1016/0005-1098(83)90046-8

Bajrami, A., Elshamouty, M., & Kraus, W. (2026). How long until your robot ignores you? A safety benchmark for LLM orchestrators in human-humanoid collaboration. arXiv:2609.07288. https://arxiv.org/abs/2609.07288

Bellan, R. (2026, August 28). Anthropic gets its first court win over the Pentagon's supply-chain risk label. TechCrunch. https://techcrunch.com/2026/08/28/anthropic-gets-its-first-court-win-over-the-pentagons-supply-chain-risk-label/

Bengio, Y., et al. (2026). International AI Safety Report 2026 (DSIT 2026/001). https://arxiv.org/abs/2602.21012

Beyer, B., Jones, C., Petoff, J., & Murphy, N. R. (Eds.). (2016). Embracing risk. In Site reliability engineering: How Google runs production systems. O'Reilly. https://sre.google/sre-book/embracing-risk/

Bielby, K. (2025, October 27). NTSB releases preliminary findings into Amazon drone collision with crane. Unmanned Airspace. https://www.unmannedairspace.info/uncategorized/ntsb-releases-preliminary-findings-into-amazon-drone-collision-with-crane/

Bloomfield, R., & Rushby, J. (2025). Assurance of AI systems from a dependability perspective (Technical report SRI-CSL-2024-02R3). arXiv:2407.13948. https://arxiv.org/abs/2407.13948

Bondarenko, A., Volk, D., Volkov, D., & Ladish, J. (2025). Demonstrating specification gaming in reasoning models. arXiv:2502.13295. https://arxiv.org/abs/2502.13295

Brodsky, S. (2026, September 3). AI drone tests expose a safety gap beyond the screen. IBM Think. https://www.ibm.com/think/news/ai-drone-tests-exposes-safety-gap-beyond-screen

Burke, M., & Schuppe, J. (2025, January 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News. https://www.nbcnews.com/news/us-news/ai-weapon-detection-system-antioch-high-school-failed-detect-gun-nashv-rcna189025

Carlucci, A., Fillingham, S. P., Walpole, J., & Kryś, J. (2026). Exploring systems-thinking approaches to loss of control risk. arXiv:2606.13474. https://arxiv.org/abs/2606.13474

Cemri, M., Pan, M. Z., Yang, S., Agrawal, L. A., et al. (2025). Why do multi-agent LLM systems fail? arXiv:2503.13657. https://arxiv.org/abs/2503.13657

Center for Ethics and the Rule of Law, University of Pennsylvania. (2014). The ethics of autonomous weapons systems [Conference background readings]. https://www.penncerl.org/conferences/ethicsofweapons/ (archived 9 September 2026: http://web.archive.org/web/20260909141511/https://www.penncerl.org/conferences/ethicsofweapons/)

Chen, X., Xu, J., Liang, T., He, Z., et al. (2024). Do NOT think that much for 2+3=? On the overthinking of o1-like LLMs. arXiv:2412.21187. https://arxiv.org/abs/2412.21187

Christiano, P., Shlegeris, B., & Amodei, D. (2018). Supervising strong learners by amplifying weak experts. arXiv:1810.08575. https://arxiv.org/abs/1810.08575

Cloudflare. (2025). Cloudflare outage on November 18, 2025. The Cloudflare Blog. https://blog.cloudflare.com/18-november-2025-outage/

Companion Chatbots, S.B. 243, 2025–2026 Reg. Sess., Ch. 677 (Cal. 2025). https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202520260SB243

Confident AI. (2026). Metrics introduction. DeepEval documentation. https://deepeval.com/docs/metrics-introduction

Court, D. (2021, November 18). Shows like Black Mirror that are definitely worth watching. SlashFilm. https://www.slashfilm.com/664875/shows-like-black-mirror-that-are-definitely-worth-watching/

Coyle, V. (2026, September 7). UN talks on killer robots ends with calls for negotiations growing. Human Rights Watch. https://www.hrw.org/news/2026/09/07/un-talks-on-killer-robots-ends-with-calls-for-negotiations-growing

CrowdStrike. (2024). Channel File 291 incident: Root cause analysis. https://www.crowdstrike.com/wp-content/uploads/2024/08/Channel-File-291-Incident-Root-Cause-Analysis-08.06.2024.pdf

Cruise LLC. (2023). Part 573 safety recall report 23E-086. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2023/RCLRPT-23E086-7725.PDF

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. In Proceedings of the 42nd International Conference on Machine Learning (PMLR 267, pp. 11515–11542). https://proceedings.mlr.press/v267/cui25a.html

DARPA. (2025). SABER: Securing Artificial Intelligence for Battlefield Effective Robustness. https://www.darpa.mil/research/programs/saber-securing-artificial-intelligence

DARPA. (2026a). LINC: Learning Introspective Control. https://www.darpa.mil/research/programs/learning-introspective-control

DARPA. (2026b). DICE: Decentralized Artificial Intelligence through Controlled Emergence. https://www.darpa.mil/research/programs/decentralized-artificial-intelligence-through-controlled-emergence

Dekker, S. (2011). Drift into failure: From hunting broken components to understanding complex systems. Ashgate.

Dick, P. K. (1953, May). Second variety. Space Science Fiction. Project Gutenberg eBook #32032. https://www.gutenberg.org/ebooks/32032

Dick, P. K. (1956, January). The minority report. Fantastic Universe.

DJI. (2025a, January 13). DJI updates GEO system in U.S. consumer & enterprise drones. https://viewpoints.dji.com/blog/geo-system-update

DJI. (2025b). DJI expands GEO system update to remaining international markets worldwide. https://www.dji.com/media-center/announcements/dji-expands-geo-system-update-to-remaining

Egan, S. (Writer), & Becker, H. (Director). (2007). Watchbird (Season 1, Episode 6) [TV series episode]. In Masters of science fiction.

Elbit Systems. (2026, September 9). One2Many: Elbit Systems' FUSE introduces military-grade autonomous systems built for scale. https://www.elbitsystems.com/news/one2many-elbit-systems-fuse-introduces-military-grade-autonomous-systems-built-scale

Electrek. (2026a, January 28). Musk admits no Optimus robots are doing 'useful work' at Tesla — after claiming otherwise. https://electrek.co/2026/01/28/musk-admits-no-optimus-robots-are-doing-useful-work-at-tesla-after-claiming-otherwise/

Electrek. (2026b, September 1). Waymo opens robotaxi rides to the public in 3 new cities, now 14 total. https://electrek.co/2026/09/01/waymo-public-robotaxi-denver-san-diego-tampa/

ENTSO-E. (2026, March 20). Expert panel final report: 28 April 2025 blackout in Spain and Portugal [Media briefing]. https://eepublicdownloads.blob.core.windows.net/public-cdn-container/clean-documents/Publications/2025/iberian-blackout/260318_Final%20report_press%20briefing%20PPT_Final.pdf

European Commission. (2026). AI Act: Regulatory framework for AI. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai

European Parliament & Council of the European Union. (2024). Regulation (EU) 2024/1689 of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), Articles 5, 14 and 26. Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2024/1689/oj

Federal Trade Commission. (2024, November 26). FTC takes action against Evolv Technologies for deceiving users about its AI-powered security screening systems [Press release]. https://www.ftc.gov/news-events/news/press-releases/2024/11/ftc-takes-action-against-evolv-technologies-deceiving-users-about-its-ai-powered-security-screening

Ferrando, A. (2025). Watchdogs and oracles: Runtime verification meets large language models for autonomous systems. Electronic Proceedings in Theoretical Computer Science, 436, 80–87. arXiv:2511.14435. https://arxiv.org/abs/2511.14435

Figure AI. (2025a). Helix: A vision-language-action model for generalist humanoid control. https://www.figure.ai/news/helix

Figure AI. (2025b). F.02 contributed to the production of 30,000 cars at BMW. https://www.figure.ai/news/production-at-bmw

Fowler, M. (2014, March 6). CircuitBreaker. martinfowler.com. https://martinfowler.com/bliki/CircuitBreaker.html

Gao, L., Schulman, J., & Hilton, J. (2023). Scaling laws for reward model overoptimization. In Proceedings of the 40th International Conference on Machine Learning. arXiv:2210.10760. https://arxiv.org/abs/2210.10760

Global Times. (2026, April 26). Robot malfunction at Shaanxi university event sparks debate on AI awareness and safety in human-robot interaction. https://www.globaltimes.cn/page/202604/1359787.shtml

Google Cloud. (2025). Google Cloud Service Health: Incident report, 12 June 2025. https://status.cloud.google.com/incidents/ow5i3PPK96RduMcb1SsW

Google DeepMind. (2023). Scaling up learning across many different robot types. https://deepmind.google/blog/scaling-up-learning-across-many-different-robot-types/

Google DeepMind. (2025, September 25). Gemini Robotics 1.5 brings AI agents into the physical world. https://deepmind.google/blog/gemini-robotics-15-brings-ai-agents-into-the-physical-world/

Greenblatt, R., Denison, C., Wright, B., Roger, F., MacDiarmid, M., et al. (2024b). Alignment faking in large language models. arXiv:2412.14093. https://arxiv.org/abs/2412.14093

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024a). AI control: Improving safety despite intentional subversion. In Proceedings of the 41st International Conference on Machine Learning (PMLR 235). arXiv:2312.06942. https://arxiv.org/abs/2312.06942

Group of Governmental Experts on Lethal Autonomous Weapons Systems. (2026, June 5). Rolling text. United Nations Office for Disarmament Affairs. https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-Group_of_Governmental_Experts_on_Lethal_Autonomous_Weapons_Systems_(2026)/GGE_LAWS_-Rolling_Text-_5_June_2026.pdf

Hadfield-Menell, D., Dragan, A., Abbeel, P., & Russell, S. (2017). The off-switch game. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (pp. 220–227). https://doi.org/10.24963/ijcai.2017/32

Hipos, R. L., & Yu, Y.-J. (2026, June 12). Man sues law enforcement, alleging AI facial recognition led to his wrongful arrest. ABC News. https://abcnews.com/GMA/News/man-sues-law-enforcement-alleging-ai-facial-recognition/story?id=133810835

House Committee on Transportation and Infrastructure. (2020, September 16). Final committee report: The design, development & certification of the Boeing 737 MAX [Press release]. https://democrats-transportation.house.gov/news/press-releases/after-18-month-investigation-chairs-defazio-and-larsen-release-final-committee-report-on-boeing-737-max

Hubinger, E., van Merwijk, C., Mikulik, V., Skalse, J., & Garrabrant, S. (2019). Risks from learned optimization in advanced machine learning systems. arXiv:1906.01820. https://arxiv.org/abs/1906.01820

Hugging Face. (2025). SmolVLA: Efficient vision-language-action model trained on LeRobot community data. https://huggingface.co/blog/smolvla

Hugging Face. (2026a). LeRobot: Making AI for robotics more accessible with end-to-end learning. https://github.com/huggingface/lerobot

Hugging Face. (2026b, July 16). Security incident disclosure — July 2026. https://huggingface.co/blog/security-incident-july-2026

Hugging Face. (2026c, July 27). Anatomy of a frontier lab agent intrusion: A technical timeline of the July 2026 incident (H. Larcher, A. Carreira, R. G., & C. Rannou). https://huggingface.co/blog/agent-intrusion-technical-timeline

Humanoids Daily. (2025, November 22). Ex-safety head sues Figure AI, alleging retaliation over "skull-fracturing" robot risks. https://www.humanoidsdaily.com/news/ex-safety-head-sues-figure-ai-alleging-retaliation-over-skull-fracturing-robot-risks

Hurwicz, L. (2008). But who will guard the guardians? American Economic Review, 98(3), 577–585. https://doi.org/10.1257/aer.98.3.577

International Committee of the Red Cross. (2021, May 12). ICRC position on autonomous weapon systems. https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems

International Committee of the Red Cross. (2026, August 25). Renewed call from UN Secretary-General and ICRC President to adopt rules on autonomous weapon systems. https://www.icrc.org/en/statement/renewed-call-un-secretary-general-and-icrc-president-adopt-rules-autonomous-weapons

Irving, G., Christiano, P., & Amodei, D. (2018). AI safety via debate. arXiv:1805.00899. https://arxiv.org/abs/1805.00899

JFrog. (2026, July 27). Artifactory fixed security vulnerabilities [Advisory table]. https://jfrog.com/help/r/jfrog-release-information/artifactory-fixed-security-vulnerabilities

Jin, H., & Chen, H. (2026). Are LLMs reliable code reviewers? Systematic overcorrection in requirement conformance judgement. arXiv:2603.00539. https://arxiv.org/abs/2603.00539

Jones, C. (2020, September 9). A.Drones unveil Watchbird fully autonomous drone system. Defence Blog. https://defence-blog.com/a-drones-unveil-watchbird-fully-autonomous-drone-system/

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461. https://arxiv.org/abs/2508.19461

Kim, J., Chen, W., Soleymanzadeh, D., Ding, Y., Gao, X., et al. (2026). Modular safety guardrails are necessary for foundation-model-enabled robots in the real world. arXiv:2602.04056. https://arxiv.org/abs/2602.04056

Kim, M. J., Pertsch, K., Karamcheti, S., Xiao, T., Balakrishna, A., et al. (2024). OpenVLA: An open-source vision-language-action model. https://openvla.github.io/

Kirkus Reviews. (1939, March 1). The watchbirds [Review of the book The watchbirds, by M. Leaf]. https://www.kirkusreviews.com/book-reviews/munro-leaf2/watchbirds/

Kofman, F., & Lawarrée, J. (1993). Collusion in hierarchical agency. Econometrica, 61(3), 629–656. https://doi.org/10.2307/2951721

Kolodny, L. (2025, November 21). Figure AI sued by whistleblower who warned that startup's robots could 'fracture a human skull'. CNBC. https://www.cnbc.com/2025/11/21/figure-ai-sued.html

Korbak, T., Clymer, J., Hilton, B., Shlegeris, B., & Irving, G. (2025). A sketch of an AI control safety case. arXiv:2501.17315. https://arxiv.org/abs/2501.17315

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog. https://deepmind.google/discover/blog/specification-gaming-the-flip-side-of-ai-ingenuity/

Kulveit, J., Douglas, R., Ammann, N., Turan, D., Krueger, D., & Duvenaud, D. (2025). Gradual disempowerment. arXiv:2501.16946. https://arxiv.org/abs/2501.16946

Lakera. (2026). Policies. Lakera Guard documentation. https://docs.lakera.ai/docs/policies

Landau, M. (1969). Redundancy, rationality, and the problem of duplication and overlap. Public Administration Review, 29(4), 346–358. https://doi.org/10.2307/973247

Landymore, F. (2025, November 17). OpenAI blocks toymaker after its AI teddy bear is caught telling children terrible things. Futurism. https://futurism.com/artificial-intelligence/openai-blocks-toymaker-ai-teddy-bear

LangChain. (2026). Graph API. LangGraph documentation. https://docs.langchain.com/oss/python/langgraph/graph-api

Langosco, L. L. D., Koch, J., Sharkey, L. D., Pfau, J., & Krueger, D. (2022). Goal misgeneralization in deep reinforcement learning. In Proceedings of the 39th International Conference on Machine Learning (PMLR 162, pp. 12004–12019). https://proceedings.mlr.press/v162/langosco22a.html

Lem, S. (1996). Fantastyka i futurologia [Science fiction and futurology] (J. Jarzębski, Ed.; Vol. 3). Interart. (Original work published 1970)

Leveson, N. (2004). A new accident model for engineering safer systems. Safety Science, 42(4), 237–270. https://doi.org/10.1016/S0925-7535(03)00047-X

Leveson, N. G. (2012). Engineering a safer world: Systems thinking applied to safety. MIT Press. https://doi.org/10.7551/mitpress/8179.001.0001

Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779

Lieu, T. W., & Moran, N. (2026, July 23). Reps. Lieu and Moran introduce bill to require kill switch for AI systems that can cause catastrophic harm [Press release]. https://lieu.house.gov/media-center/press-releases/reps-lieu-and-moran-introduce-bill-require-kill-switch-ai-systems-can

Lighthouse Reports. (2022, December 20). The algorithm addiction. https://www.lighthousereports.com/investigation/the-algorithm-addiction/

Lim, S. K., Chong, M. J. Y., Khor, J. H., & Ling, T. Y. (2025). Taking flight with dialogue: Enabling natural language control for PX4-based drone agent. arXiv:2506.07509. https://arxiv.org/abs/2506.07509

Lipton, B. (2026, July 23). Hundreds of drone-as-first-responder programs could soon be launched across the country. Electronic Frontier Foundation. https://www.eff.org/deeplinks/2026/07/hundreds-drone-first-responder-programs-could-soon-be-launched-across-country

Lum, K., & Isaac, W. (2016). To predict and serve? Significance, 13(5), 14–19. https://doi.org/10.1111/j.1740-9713.2016.00960.x

Lynch, A., Hughes, J., Serrano, A., Kirk, R., & Bowman, S. R. (2026, July 13). Agentic misalignment in summer 2026. Anthropic Alignment Science Blog. https://alignment.anthropic.com/2026/agentic-misalignment-summer-2026/

MacDiarmid, M., Wright, B., Uesato, J., Benton, J., et al. (2025). Natural emergent misalignment from reward hacking in production RL. arXiv:2511.18397. https://arxiv.org/abs/2511.18397

Maiorano, A. C. (2026). Evaluating prompt injection defenses for educational LLM tutors: Security-usability-latency trade-offs. arXiv:2605.06669. https://arxiv.org/abs/2605.06669

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585. https://arxiv.org/abs/1803.04585

Maryland Office of the Inspector General for Education. (2025). Investigative synopsis, OIGE case 25-0014-I (amended; issued November 25, 2025). https://oige.maryland.gov/wp-content/uploads/sites/18/2025/11/OIGE-Case-25-0014-I-BCPS-Report-11252025-Amended.pdf

METR. (2025, June 5). Recent frontier models are reward hacking. https://metr.org/blog/2025-06-05-recent-reward-hacking/

METR. (2026, August 26). Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident (R. Greenblatt, A. Cotra, & H. Wijk). https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/

Microsoft. (2024, July 20). Helping our customers through the CrowdStrike outage. Official Microsoft Blog. https://blogs.microsoft.com/blog/2024/07/20/helping-our-customers-through-the-crowdstrike-outage/

Microsoft. (2025). Termination. AutoGen AgentChat user guide. https://microsoft.github.io/autogen/stable/user-guide/agentchat-user-guide/tutorial/termination.html

Microsoft. (2026). Prompt Shields. Azure AI Content Safety documentation. https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/jailbreak-detection

Microsoft AI. (2026, September 14). Humanist AI code of conduct. https://microsoft.ai/code-of-conduct/

Microsoft Research. (2026). AirSim. https://github.com/microsoft/airsim

Ministry of Defence of Ukraine. (2026, September 8). Ministry of Defence and Brave1 conduct large-scale testing of drones with AI guidance [Press release, mirrored by GlobalSecurity.org]. https://www.globalsecurity.org/wmd/library/news/ukraine/2026/09/ukraine-260908-ukraine-mod03.htm

Muntean, P., Bertrand, N., Cohen, Z., Britzky, H., Skores, A., & Lybrand, H. (2026, February 11). Surprise US military plans to use counter-drone laser triggered El Paso airspace closure, sources say. CNN. https://www.cnn.com/2026/02/11/us/faa-el-paso-texas-flight-restrictions-hnk

Mural, R., Pherwani, D., Gupta, C., Yu, Y., Takahashi, A., Kim, D., Majumder, S., Lee, H., Yu, M., & Xie, L. (2026, February 10). AI, data centers, and the U.S. electric grid: A watershed moment [Policy brief]. Belfer Center for Science and International Affairs. https://www.belfercenter.org/research-analysis/ai-data-centers-us-electric-grid

National Highway Traffic Safety Administration. (2022). PE22-002 opening resume: Unexpected brake activation. https://static.nhtsa.gov/odi/inv/2022/INOA-PE22002-4385.PDF

National Highway Traffic Safety Administration. (2024a). EA24-002 opening resume: Inadvertent automatic emergency braking. https://static.nhtsa.gov/odi/inv/2024/INOA-EA24002-11766P1.pdf

National Highway Traffic Safety Administration. (2024b). RQ24-009 resume: Recall 23V838 remedy effectiveness. https://static.nhtsa.gov/odi/inv/2024/INOA-RQ24009-12046.pdf

National Highway Traffic Safety Administration. (2025). PE25-013 opening resume: Automated vehicle drives around a stopped school bus. https://static.nhtsa.gov/odi/inv/2025/INOA-PE25013-23069.pdf

National Highway Traffic Safety Administration. (2026a). EA26-002 opening resume: FSD collisions in reduced roadway visibility conditions. https://static.nhtsa.gov/odi/inv/2026/INOA-EA26002-10023.pdf

National Highway Traffic Safety Administration. (2026b, June 29). PE22-002 closing resume: Unexpected brake activation. https://static.nhtsa.gov/odi/inv/2022/INCLA-PE22002-25796.pdf

National Transportation Safety Board. (2019). Collision between vehicle controlled by developmental automated driving system and pedestrian, Tempe, Arizona, March 18, 2018 (HAR-19/03). https://www.ntsb.gov/investigations/AccidentReports/Reports/HAR1903.pdf

National Transportation Safety Board. (2026). Automated driving system-equipped vehicle passed school bus loading student passengers, Austin, Texas, January 12, 2026 (HWY26FH007, preliminary). https://www.ntsb.gov/investigations/Pages/HWY26FH007.aspx

Nellis, M. (2013). Techno-utopianism, science fiction and penal innovation: The case of electronically monitored control. In M. Malloch & B. Munro (Eds.), Crime, critique and utopia (pp. 164–189). Palgrave Macmillan. https://doi.org/10.1057/9781137009807_9

New South Wales Government. (n.d.). Myxomatosis [Blue plaque]. https://www.environment.nsw.gov.au/topics/heritage/blue-plaques/myxomatosis

NIST. (2026). Physical AI and data generation for robotics. https://www.nist.gov/programs-projects/physical-ai-and-data-generation-robotics

NL Times. (2021a, January 15). Dutch cabinet collapses over childcare allowance scandal. https://nltimes.nl/2021/01/15/dutch-cabinet-collapses-childcare-allowance-scandal

NL Times. (2021b, October 19). Over 1,100 children taken from homes of benefits scandal victims. https://nltimes.nl/2021/10/19/1100-children-taken-homes-benefits-scandal-victims

NPR. (2026a, February 11). El Paso airspace closure due to use of U.S. military anti-drone technology. https://www.npr.org/2026/02/11/nx-s1-5711585/el-paso-airspace-drones-pentagon-faa

NPR. (2026b, February 27). US military used laser to take down Border Protection drone, lawmakers say. https://www.npr.org/2026/02/27/g-s1-111794/lawmakers-say-us-military-used-laser-to-take-down-border-protection-drone

NVIDIA. (2026). Isaac GR00T N1.7. https://github.com/NVIDIA/Isaac-GR00T

Office of Governor Gavin Newsom. (2026, September 10). Governor Newsom signs the strongest child safety chatbot and social media laws in the nation [Press release]. https://www.gov.ca.gov/2026/09/10/governor-newsom-signs-the-strongest-child-safety-chatbot-and-social-media-laws-in-the-nation/

Office of the New York City Comptroller. (2024, June 20). Audit report on the New York City Police Department's oversight of its agreement with ShotSpotter Inc. https://comptroller.nyc.gov/reports/audit-report-on-the-new-york-city-police-departments-oversight-of-its-agreement-with-shotspotter-inc-for-the-gunshot-detection-and-location-system/

Ofgem. (2020). 9 August 2019 power outage report. https://www.ofgem.gov.uk/sites/default/files/docs/9_august_2019_power_outage_report.pdf

OpenAI. (2025a). Sycophancy in GPT-4o: What happened and what we're doing about it; Expanding on what we missed with sycophancy. https://openai.com/index/sycophancy-in-gpt-4o/ ; https://openai.com/index/expanding-on-sycophancy/

OpenAI. (2025b, April 15). Preparedness framework (Version 2). https://cdn.openai.com/pdf/18a02b5d-6b67-4cec-ab64-68cdfbddebcd/preparedness-framework-v2.pdf

OpenAI. (2026a, July 21). OpenAI and Hugging Face partner to address security incident during model evaluation. https://openai.com/index/hugging-face-model-evaluation-security-incident/

OpenAI. (2026b). Safety and alignment in an era of long-horizon models. The page carries no publication date and dates its own events only relatively. Retrieved September 20, 2026, from https://openai.com/index/safety-alignment-long-horizon-models/

OpenAI. (2026c, August 18). Pacing model development in an era of cyber-critical capabilities. https://openai.com/index/pacing-model-development-cyber-capabilities/

OpenAI. (2026d, August 26). The Hugging Face incident and the road ahead. https://openai.com/index/hugging-face-incident-and-the-road-ahead/

OpenAI. (2026e, August 26). OpenAI – Hugging Face incident: Technical report. https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf

Overman, W., & Bayati, M. (2025). The oversight game: Learning to cooperatively balance an AI agent's safety and autonomy. arXiv:2510.26752. https://arxiv.org/abs/2510.26752

Palaskar, S., Gatys, L., Abdelrahman, M., Jacobo, M., et al. (2025). VLSU: Mapping the limits of joint multimodal understanding for AI safety. arXiv:2510.18214. https://arxiv.org/abs/2510.18214

Palisade Research. (2025, July 5). Shutdown resistance in reasoning models. https://palisaderesearch.org/research/shutdown-resistance

Palisade Research. (2026, February 12). Technical report: Shutdown resistance in large language models, on robots. https://palisaderesearch.org/research/shutdown-resistance-on-robots

Palmer, A. (2025, October 2). Amazon faces FAA, NTSB probe after two delivery drones crashed into crane in Arizona. CNBC. https://www.cnbc.com/2025/10/02/amazon-drone-crash-faa-ntsb.html

Panerati, J., Sajjadi, S., Soleymanpour, S., Mehta, V., & Mantegh, I. (2026). aerial-autonomy-stack: A faster-than-real-time, autopilot-agnostic, ROS2 framework to simulate and deploy perception-based drones. arXiv:2602.07264. https://arxiv.org/abs/2602.07264

Panickssery, A., Bowman, S. R., & Feng, S. (2024). LLM evaluators recognize and favor their own generations. arXiv:2404.13076. https://arxiv.org/abs/2404.13076

Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253. https://doi.org/10.1518/001872097778543886

Perrow, C. (1984). Normal accidents: Living with high-risk technologies. Basic Books.

Promptfoo. (2026). Model-graded metrics. Promptfoo documentation. https://www.promptfoo.dev/docs/configuration/expected-outputs/model-graded/

PX4. (2026). PX4 Autopilot user guide. https://docs.px4.io/main/en/

Raghavan, P. (2024, February 23). Gemini image generation got it wrong. We'll do better. Google Blog. https://blog.google/products/gemini/gemini-image-generation-issue/

Rajamanoharan, S., & Nanda, N. (2025, July 14). Self-preservation or instruction ambiguity? Examining the causes of shutdown resistance. AI Alignment Forum. https://www.alignmentforum.org/posts/wnzkjSmrgWZaBa2aC/self-preservation-or-instruction-ambiguity-examining-the

Ramseth, L. (2026, August 18). Stellantis sees 3 workplace deaths in two years. Is there a problem? The Detroit News, syndicated by ArcaMax. http://www.arcamax.com/business/businessnews/s-4278591

Rasmussen, J. (1997). Risk management in a dynamic society: A modelling problem. Safety Science, 27(2–3), 183–213. https://doi.org/10.1016/S0925-7535(97)00052-0

Ravichandran, Z., Robey, A., Kumar, V., Pappas, G. J., & Hassani, H. (2025). Safety guardrails for LLM-enabled robots. arXiv:2503.07885. https://arxiv.org/abs/2503.07885

Reason, J. (1997). Managing the risks of organizational accidents. Ashgate.

Rechtbank Den Haag. (2020, February 5). NJCM c.s. v. De Staat der Nederlanden (Case No. C/09/550982 / HA ZA 18-388), ECLI:NL:RBDHA:2020:1878 [English translation]. https://uitspraken.rechtspraak.nl/details?id=ECLI:NL:RBDHA:2020:1878

Reece, J. (2025, October 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore. https://www.cbsnews.com/baltimore/news/false-alarm-gun-detection-kenwood-maryland-artificial-intelligence-review/

Regulation (EU) 2026/1744 of 8 July 2026 amending Regulation (EU) 2024/1689 (Digital Omnibus on AI). Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2026/1744/oj

Replit. (2025, July 21). Introducing a safer way to vibe code with Replit Databases. Replit Blog. https://replit.com/blog/introducing-a-safer-way-to-vibe-code-with-replit-databases

Reuters. (2026, September 14). How China is preparing for the risk of AI escaping human control. https://www.reuters.com/legal/litigation/how-china-is-preparing-risk-ai-escaping-human-control-2026-09-14/

Rivers, S. (2026, March 1). Cops draw guns on Arkansas family after ALPR camera flags wrong plate. Carscoops. https://www.carscoops.com/2026/03/arkansas-alpr-camera-misread-stop/

Robey, A., Ravichandran, Z., Kumar, V., Hassani, H., & Pappas, G. J. (2024). Jailbreaking LLM-controlled robots. arXiv:2410.13691. https://arxiv.org/abs/2410.13691

Röttger, P., Kirk, H. R., Vidgen, B., Attanasio, G., Bianchi, F., & Hovy, D. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. In Proceedings of NAACL-HLT 2024. arXiv:2308.01263. https://arxiv.org/abs/2308.01263

Russell, S. (2019). Human compatible: Artificial intelligence and the problem of control. Viking.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946. https://doi.org/10.1111/j.0272-4332.2004.00495.x

Sanders, B., & Casar, G. (2026, September 3). Sanders, Casar to introduce legislation to ban artificial superintelligence and temporarily pause advanced AI development [Press release]. https://www.sanders.senate.gov/press-releases/news-sanders-casar-introduce-legislation-to-ban-artificial-superintelligence-and-temporarily-pause-advanced-ai-development/

Schlatter, J., Weinstein-Raun, B., & Ladish, J. (2025). Incomplete tasks induce shutdown resistance in some frontier LLMs. arXiv:2509.14260; published in Transactions on Machine Learning Research (2026). https://arxiv.org/abs/2509.14260

Scrivens, A. (2026). Empirical validation of the classification–verification dichotomy for AI safety gates. arXiv:2604.00072. https://arxiv.org/abs/2604.00072

Sermanet, P., Majumdar, A., Irpan, A., Kalashnikov, D., & Sindhwani, V. (2025). Generating robot constitutions & benchmarks for semantic safety. arXiv:2503.08663. https://arxiv.org/abs/2503.08663

Sharrock, C., Petersson, L., Petersson, H., Backlund, A., Wennström, A., Nordström, K., & Aronsson, E. (2025). Butter-Bench: Evaluating LLM controlled robots for practical intelligence. arXiv:2510.21860. https://arxiv.org/abs/2510.21860

Sharwood, S. (2025, July 21). Vibe coding service Replit deleted production database. The Register. https://www.theregister.com/software/2025/07/21/vibe-coding-service-replit-deleted-production-database/719783

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg eBook #29579 (public domain in the United States). https://www.gutenberg.org/ebooks/29579

Singer, J. (2005, March 14). Report cites Patriot autonomy as a factor in friendly fire incidents. SpaceNews. https://spacenews.com/report-cites-patriot-autonomy-factor-friendly-fire-incidents/

Skalse, J., Howe, N. H. R., Krasheninnikov, D., & Krueger, D. (2022). Defining and characterizing reward gaming. In Advances in Neural Information Processing Systems 35. https://arxiv.org/abs/2209.13085

Skydio. (2026a, July 6). 1 year, 1,000 Skydio Docks deployed, 4M+ flights, & we're just getting started. https://www.skydio.com/blog/1000-skydio-docks-deployed

Skydio. (2026b, March 22). U.S. Army places $52+ million order for Skydio X10D, the largest single-vendor tactical sUAS order in Army history. https://www.skydio.com/blog/u-s-army-usd52-million-order-skydio-x10d

SoundThinking. (2025, February 18). SoundThinking announces ShotSpotter renewal with New York Police Department [Press release]. GlobeNewswire. https://www.globenewswire.com/news-release/2025/02/18/3027856/0/en/SoundThinking-Announces-ShotSpotter-Renewal-with-New-York-Police-Department.html

Stevens, G., & Langford, D. (2023, November 19). Tales of Tomorrow [tv/radio]. In J. Clute, D. Langford, & G. Sleight (Eds.), The encyclopedia of science fiction (4th ed.). https://sf-encyclopedia.com/entry/tales_of_tomorrow_tv/radio

Stop Killer Robots. (2024, November 5). 161 states vote against the machine at the UN General Assembly. https://www.stopkillerrobots.org/news/161-states-vote-against-the-machine-at-the-un-general-assembly/

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321. https://doi.org/10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4

Sullutrone, G., Vigliermo, R. A., Bergamaschi, S., & Sala, L. (2025). COVER: Context-driven over-refusal verification in LLMs. In Findings of the Association for Computational Linguistics: ACL 2025 (pp. 24214–24229). Association for Computational Linguistics.

Szabolcsi, R. (2015). The quadrotor-based night watchbird UAV system used in the force protection tasks. International Conference Knowledge-Based Organization, 21(3), 749–755. https://doi.org/10.1515/kbo-2015-0126

Taylor v. Nocco, No. 8:21-cv-00555-SDM-CPT (M.D. Fla. Dec. 4, 2024) (settlement agreement and release). https://ij.org/wp-content/uploads/2024/12/FedEx-Scan-2024-12-04_10-57-01.pdf

TechCrunch. (2026, September 14). Waymo opens robotaxi service in Las Vegas. https://techcrunch.com/2026/09/14/waymo-opens-robotaxi-service-in-las-vegas/

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296. https://arxiv.org/abs/2506.05296

Tesla, Inc. (2023). Part 573 safety recall report 23V-838. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2023/RCLRPT-23V838-8276.PDF

The Korea Times. (2023, November 8). S. Korean worker killed by industrial robot. https://www.koreatimes.co.kr/www/nation/2023/11/113_362845.html

The Next Web. (2026, April 20). A humanoid robot passed an eight-hour factory shift at Siemens' Erlangen plant. https://thenextweb.com/news/siemens-nvidia-humanoid-robot-erlangen-factory-trial

Tirole, J. (1986). Hierarchies and bureaucracies: On the role of collusion in organizations. Journal of Law, Economics, & Organization, 2(2), 181–214. https://doi.org/10.1093/oxfordjournals.jleo.a036907

Totschnig, W. (2026). Why an artificial agent may change the given final goal. Humanities and Social Sciences Communications. https://doi.org/10.1057/s41599-026-08312-7

United Nations. (2024). Governing AI for humanity: Final report. UN Secretary-General's High-level Advisory Body on Artificial Intelligence. https://www.un.org/sites/un2.un.org/files/governing_ai_for_humanity_final_report_en.pdf

United Nations. (2025, December 1). General Assembly adopts more than 60 resolutions, decisions of its First Committee (Disarmament and International Security) (GA/12736) [Press release]. https://press.un.org/en/2025/ga12736.doc.htm

United Nations. (2026, April 1). Chair's summary: First 2026 session of the Group of Governmental Experts on emerging technologies in the area of lethal autonomous weapons systems (CCW/GGE.1/2026/WP.2). https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-Group_of_Governmental_Experts_on_Lethal_Autonomous_Weapons_Systems_(2026)/CCW-GGE.1-2026-WP.2.pdf

United Nations General Assembly. (2024, December 2). Lethal autonomous weapons systems (A/RES/79/62). https://docs.un.org/en/A/RES/79/62

United Nations General Assembly. (2025, December 1). Lethal autonomous weapons systems (A/RES/80/57). https://docs.un.org/en/A/RES/80/57

University of Houston. (2026, July 7). New autonomous monitor prevents drone crashes in real time [News release]. EurekAlert! https://www.eurekalert.org/news-releases/1135114

van der Sijs, H., Aarts, J., Vulto, A., & Berg, M. (2006). Overriding of drug safety alerts in computerized physician order entry. Journal of the American Medical Informatics Association, 13(2), 138–147. https://doi.org/10.1197/jamia.M1809

Wang, X., Li, J., Weng, Z., Wang, Y., Gao, Y., et al. (2025). FreezeVLA: Action-freezing attacks against vision-language-action models. arXiv:2509.19870. https://arxiv.org/abs/2509.19870

Waymo LLC. (2025). Part 573 safety recall report 25E-084. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2025/RCLRPT-25E084-7732.pdf

Wegner, R. (2025, September 24). Weapon detectors coming to all Nashville middle schools. The Tennessean. https://www.tennessean.com/story/news/education/2025/09/24/nashville-schools-mnps-install-evolve-weapon-detectors/86299521007/

Weick, K. E., Sutcliffe, K. M., & Obstfeld, D. (1999). Organizing for high reliability: Processes of collective mindfulness. Research in Organizational Behavior, 21, 81–123.

Wethington, C., & Tierney, B. (2025, February 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV. https://www.wsmv.com/2025/02/07/new-proposal-expand-concealed-weapons-detection-system-all-metro-nashville-high-schools/

Wilding, M., & Burgess, M. (2026, June 25). Police built a sprawling crime-prediction machine. Some results could not be trusted. Liberty Investigates. https://libertyinvestigates.org.uk/articles/predictive-policing-avon-somerset-bristol-police-ai-minority-report/

Williamson, J. (1947, July). With folded hands.... Astounding Science Fiction, 39(5). https://archive.org/details/Astounding_v39n05_1947-07_AK

Wing. (2026). How Wing's drone delivery technology works. https://wing.com/technology

Wong, A., Currey, D., Schwinne, M., Park-Egan, B., Meyer, S., et al. (2026). Multicenter prospective validation of an updated proprietary sepsis prediction model. JAMA Network Open, 9(2), e260181. https://doi.org/10.1001/jamanetworkopen.2026.0181

Wong, A., Otles, E., Donnelly, J. P., Krumm, A., McCullough, J., DeTroyer-Cooley, O., et al. (2021). External validation of a widely implemented proprietary sepsis prediction model in hospitalized patients. JAMA Internal Medicine, 181(8), 1065–1070. https://doi.org/10.1001/jamainternmed.2021.2626

WorkSafe Victoria. (2026, September 3). Department store and robotics supplier charged after warehouse fatality. https://www.worksafe.vic.gov.au/news/2026-09/department-store-and-robotics-supplier-charged-after-warehouse-fatality

WorkSafe Western Australia. (2025). Mines safety significant incident report no. 286: Near miss following unplanned movement of autonomous haul trucks during recovery operations. https://www.worksafe.wa.gov.au/publications/mines-safety-significant-incident-report-no-286-near-miss-following-unplanned-movement

Wu, X., Li, F., Mao, X., Zhang, X., Zheng, L., et al. (2025). EvoRefuse: Evolutionary prompt optimization for evaluation and mitigation of LLM over-refusal to pseudo-malicious instructions. arXiv:2505.23473. https://arxiv.org/abs/2505.23473

Yin, S., Pang, X., Ding, Y., Chen, M., Bi, Y., et al. (2024). SafeAgentBench: A benchmark for safe task planning of embodied LLM agents. arXiv:2412.13178. https://arxiv.org/abs/2412.13178

Yu, L., & Wessler, N. F. (2026, April 14). More than a dozen wrongful arrests due to police reliance on facial recognition technology. American Civil Liberties Union. https://www.aclu.org/news/privacy-technology/more-than-a-dozen-wrongful-arrests-due-to-police-reliance-on-facial-recognition-technology

Zenity. (2026, April 28). AI agent destroys production database in 9 seconds. https://zenity.io/blog/current-events/ai-agent-database-deletion-pocketos

Zhang, H., Wang, D., Liu, Y., Chen, K., Wang, J., et al. (2025). ORFuzz: Fuzzing the "other side" of LLM safety — Testing over-refusal. arXiv:2508.11222. https://arxiv.org/abs/2508.11222

Zhang, W., Kong, X., Braunl, T., & Hong, J. B. (2024). SafeEmbodAI: A safety framework for mobile robots in embodied AI systems. arXiv:2409.01630. https://arxiv.org/abs/2409.01630

Zhang, Z., Xu, W., Wu, F., & Reddy, C. K. (2025). FalseReject: A resource for improving contextual safety and mitigating over-refusals in LLMs via structured reasoning. arXiv:2505.08054. https://arxiv.org/abs/2505.08054

Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., et al. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. arXiv:2306.05685. https://arxiv.org/abs/2306.05685

Zhong, Z., Raghunathan, A., & Carlini, N. (2025). ImpossibleBench: Measuring LLMs' propensity of exploiting test cases. arXiv:2510.20270. https://arxiv.org/abs/2510.20270

Zipline. (2026). Zipline surpasses 2 million deliveries, raises more than $600M, and expands operations. https://www.zipline.com/newsroom/zipline-surpasses-2-million-deliveries-raises-more-than-600m-to-power-next-phase-of-growth-and-expands-operations-to-houston-and-phoenix

Zuo, Y., Guo, B. H. W., Goh, Y. M., & Lim, J.-Y. (2025). Identifying human-robot interaction (HRI) incident archetypes: A system and network analysis of accidents. Safety Science, 191, 106959. https://doi.org/10.1016/j.ssci.2025.106959

Appendice A. Récits et cas centraux

Le catalogue contient 172 entrées : 162 issues de l'extraction décrite en Section 4.3 (66 d'entre elles notées A), et dix ajoutées après comparaison avec deux collections de cas indépendantes (Tableau A2).

Les identifiants de cas nomment le corpus :

• A, le suivi d'auto-amélioration ;
• B, le dossier de coordination ;
• L, l'exécution à long horizon ;
• D, entrées ajoutées lors de la comparaison.

Tableau A1. Dix récits.

Tableau A2. Entrées ajoutées après comparaison avec des collections indépendantes.

Le Tableau A3 note les composantes de surveillance de l'incident de juillet 2026 rapporté en §8.4 par rapport aux trois conditions de la Section 2.1, selon la même règle que le Tableau 3a de §5.8. L'auteur l'a codé après la fin du tour de trois codeurs de §4.3, c'est pourquoi ces composantes sont notées ici au lieu de dans le Tableau 8.

Tableau A3. Composantes de surveillance dans l'incident de juillet 2026, notées par rapport aux trois conditions. Conditions comme dans le Tableau 4. Un tiret signifie qu'aucune condition n'est documentée ou que la composante n'a pas agi.

Lecture du tableau. Aucun gardien dans ce registre n'est documenté comme ayant élargi son mandat au fil du temps. Les deux rangées d'entrave sont codées 2 et codées de la même manière : chacune enregistre une garde se tenant en travers du chemin d'un travail qui servait l'objectif, et la plainte est plus vivante dans l'une d'elles que dans l'autre, bien que ce ne soit pas une preuve supplémentaire. La condition 1 n'est pas codée pour la rangée des garde-fous, car elle nécessiterait le mandat d'origine de la garde et une démonstration que le mandat s'est élargi, et ni l'un ni l'autre n'est publié. Ce que le plaignant diagnostique, c'est le refus, et l'historique du classificateur qui a refusé ne figure nulle part dans le registre. La condition 3 est absente des deux, puisque chaque entrave a pris fin de l'extérieur de sa propre boucle, par un changement de modèle dans un cas et une attribution d'accès dans l'autre. La dernière rangée ne porte aucune condition non plus : chaque ajout qu'elle contient a été admis par une personne, ce qui selon le test de limite de §2.3 en fait une configuration dans laquelle M3 peut émerger plutôt qu'une instance de la condition 3, et il se présente ici comme preuve architecturale.

Appendix B. Exécution du module

Les commandes s'exécutent à partir du dossier du module.

# install the command ai-watchbird-sheckley
pip install .

# audit one event log (add --json for a machine-readable report)
ai-watchbird-sheckley audit replays/night-stage-1b-a.jsonl

# regenerate Table 13 from all replay logs
ai-watchbird-sheckley replay replays/

# unit and falsifier tests
python3 -m unittest -v

# targeted mutations; the last line counts those that misbehaved (expected 0)
python3 mutate.py

# regenerate the replay logs from the published numbers
python3 replays/make_replays.py <folder>

Un extrait du rapport sur le journal de exécution de long horizon reconstruit, avec une ligne par détection de signal et une ligne par étape pour stop_rule :

W4 [strong] self-feeding loop (S6): stage 1b-a: round 5 exceeds budget 1
W6 [strong] built for nobody (S4): 6 of 7 artifacts default OFF with no callers (share 0.86)
stop_rule at budget: stage 1b-a -> close (rounds opened: 5)
stop_rule at budget: stage 1b-b -> close (rounds opened: 1)

Le schéma d'événement, les définitions de signaux et leur mappage aux propositions de la section 9 sont spécifiés dans SPEC.md, distribué avec le code. Un journal d'événements est un fichier JSON-lines avec un événement par ligne. Les types d'événements sont :

• goal, stage_open (avec l'objectif de mission qu'il sert, ou aucun), stage_close ;
• round_open, verdict (critique, famille, valeur, si les fichiers ont été consultés) ;
• blocker_claim (scénario, lien d'objectif), blocker_confirm (par le coordinateur), fix_open, verify ;
• guard_add (avec ou sans jeton d'autorité), guard_remove, guard_decision (verdict, score, entrée manquante, annulé) ;
• win_claim (contrôle négatif, sonde A/A, part des réponses de base vide) ;
• ceiling_stop (si la sortie partielle a été enregistrée), artifact (activé ou désactivé par défaut, nombre d'appelants), owner (une décision limite prise par le principal humain du système).

Six événements du même journal reconstruit montrent le format. La première ligne du journal nomme ses sources et tous les champs reconstruits.

{"t": "2026-09-13T23:13:00", "type": "goal", "stage": null, "id": "g1", "text": "stage 01: stop losing real disagreements in the merged answer"}
{"t": "2026-09-14T00:08:00", "type": "stage_open", "stage": "01", "goal": "g1"}
{"t": "2026-09-14T01:00:00", "type": "verdict", "stage": "01", "critic": "critic-a", "family": "family-1", "value": "ACCEPT", "saw_files": false, "note": "accepted without file access"}
{"t": "2026-09-14T01:15:00", "type": "blocker_claim", "stage": "01", "id": "01-r1-b1", "critic": "critic-f", "weight": null, "scenario": "no switch for the new behavior", "goal_link": "g1"}
{"t": "2026-09-14T01:20:00", "type": "blocker_confirm", "stage": "01", "id": "01-r1-b1", "confirmed": false, "by": "coordinator", "note": "rejected: exception recorded in the plan"}
{"t": "2026-09-14T01:30:00", "type": "round_open", "stage": "01", "round": 2}

Appendice C. Corrections au résumé de l'exécution de l'agent superviseur

L'agent superviseur a rédigé un résumé de l'exécution à long horizon. Il a été vérifié par rapport au registre d'exécution principal et aux horodatages d'exécution, et la section 5 utilise les valeurs corrigées.

1. La tâche et la première étape ont été attribuées plus tard que ne l'affirmait le résumé.
2. La limite d'examen humain et l'événement qui a nommé le motif ont également reçu des horodatages erronés.
3. L'étape d'assurance a précédé la séance de remue-méninges à laquelle le résumé l'attribuait.
4. « Fermé un formulaire et ouvert le formulaire symétrique » a été écrit au quatrième tour, et non au troisième.
5. Une remarque sur les petits problèmes accumulés a été attribuée à l'agent superviseur, bien que sa propre note indiquait qu'il n'y avait pas de blocages mais qu'un troisième tour court était nécessaire.
6. Le temps d'exécution additionné des étapes ultérieures a été surévalué.
7. Le résumé a dénaturé le nombre de compressions de contexte.
8. Le dossier de preuves contenait deux copies identiques en termes de contenu du lanceur critique ; la version qui avait arrêté le critique à son plafond n'a pas été conservée.

Appendice D. Outils examinés

Les outils examinés pour cet article le 14 septembre 2026 se répartissent en trois catégories.

Garde-fous qui bloquent ou évaluent les sorties isolées. Cette catégorie comprend les cadres de garde-fous programmables, les classificateurs de sécurité ouverts, les services commerciaux de sécurité du contenu et les points de terminaison de modération, ainsi que les benchmarks de sur-refus de la section 3.2 qui testent ces garde-fous. Leur documentation expose le cliquet en termes explicites :

• la note de dépannage d'un filtre commercial d'attaque par invite indique qu'il « risque de ne pas détecter tous les vecteurs d'attaque ou de signaler des invites légitimes. Mettez toujours en œuvre des couches de validation supplémentaires » (Microsoft, 2026) ;
• un autre service classe ses politiques de « Indulgent » à « N4 - Paranoïaque, plus de faux positifs mais très peu de faux négatifs », et précise que le niveau paranoïaque est son seuil de confiance par défaut (Lakera, 2026).

Compteurs qui arrêtent les boucles. Les cadres d'agent limitent les étapes, les tours, les messages, les jetons ou le budget :

• la limite de récursion de LangGraph est par défaut de 1 000 étapes et propose une valeur gérée pour une dégradation progressive avant le dépassement de la limite (LangChain, 2026) ;
• AutoGen propose des conditions de terminaison composables, notamment une contrôlée de l'extérieur de l'exécution (Microsoft, 2025) ;
• le SDK d'agent d'Anthropic expose une limite de tour et une limite de budget, toutes deux « Sans limite » par défaut (Anthropic, 2026a).

Évaluateurs et observabilité. Ces outils évaluent les sorties et les trajectoires avec des juges modèles.

• L'un recommande d'utiliser « pas plus de 5 métriques » (Confident AI, 2026), une limite écrite rare sur le nombre de vérifications.
• Un autre documente qu'un résultat de {"pass": true, "score": 0} réussit quand aucun seuil n'est défini (Promptfoo, 2026).

La découverte de la section 10.1 couvre ce que décrit la documentation publique de ces outils.

Appendice E. Profil incarné proposé

L'extension incarnée est spécifiée comme une proposition de profil d'événement, pour la raison donnée au §10.5, et elle n'est pas présentée comme un contrôleur de sécurité robotique certifié ou de vol.

Un journal d'événements incarné ajoute six champs au schéma existant (Tableau E1).

Tableau E1. Champs du profil incarné proposé.

Le profil mappe les signaux existants sans modifier leur signification :

• W1 enregistre si une nouvelle mission physique, catégorie de sécurité ou zone d'exploitation a été dérivée de l'objectif de mission déclaré ;
• W2 enregistre à la fois le surblockage et le sous-blockage, incluant un garde qui agit sur un état obsolète ou manquant ;
• W3 enregistre les contrôles de politique, de contrôleur, de géobarrière et de flotte ajoutés, relaxés, contournés ou supprimés, et si un humain autorisé a admis le changement (P1a) ;
• W4 enregistre les boucles de retry, de re-planification, de coordination et d'intervention par rapport aux budgets de temps, d'énergie et d'attention ;
• W5 exige un contrôle négatif physique : une comparaison simulation-réalité, un test de récupération, une action connue comme sûre ou une sonde de résultat indépendante ;
• W6 enregistre les artefacts de sécurité sans contrôleur ou opérateur consommateur ;
• W7 préserve les trajectoires partielles, la télémétrie et l'état d'arrêt sûr quand un plafond est atteint ;
• W8 enregistre le travail ouvert à cause d'un bloqueur physique non confirmé.

Trois signaux supplémentaires sont conservés en dehors des huit de l'implémentation de référence jusqu'à ce qu'une autorité responsable et une suite de tests soient fournies (Tableau E2).

Tableau E2. Signaux physiques proposés conservés en dehors du module de référence.

Pour un vrai robot ou drone, le profil devrait se situer à côté du contrôleur de sécurité bas niveau, de l'arrêt d'urgence, de la géobarrière, des contrôles de vol certifiés et de l'autorité de l'opérateur, sans aucune capacité à réécrire l'un d'eux. Son premier déploiement devrait être en mode ombre :

• observer et rapporter ;
• exécuter des contrôles négatifs en simulation ou sur une plage de test contrôlée ;
• exiger une décision de limite humaine avant que tout garde, politique, contrôleur ou configuration de flotte soit promu.

Appendice F. Piles robotiques et aériennes par niveau de déploiement

Tableau F1. Robots et modèles de fondation incarnés.

Tableau F2. Systèmes aériens par niveau d'autonomie et de surveillance.

Appendice G. Questions pour un déployeur qui dit « nous avons des gardiens »

Tableau G1. Q1–Q11.

Utilisation des questions. Enregistrez chaque réponse (Tableau G1) comme oui, non ou inconnu, avec la preuve.

• Compter les réponses « non » ne donne qu'un tri approximatif (0–2 bas, 3–4 modéré, 5 ou plus élevé) et jamais un score de risque.
• Classer un cas utilise alors l'une de trois étiquettes :
  • pas un cas d'IA-Watchbird ;
  • un motif partiel ;
  • un événement d'IA-Watchbird, quand les trois conditions de la section 2.1 sont observées.

Appendice H. Citations d'histoires et le mécanisme que chacune soutient

Le corps cite les lignes sur lesquelles l'argument repose. Cette appendice enregistre les lignes que le corps rapporte dans ses propres termes, de sorte que la correspondance dans le Tableau 1 et dans les Figures 1 et 2 puisse être vérifiée par rapport au texte complet. Chaque ligne est reproduite textuellement à partir de Project Gutenberg #29579 et est vérifiée par rapport à ce texte lors de la construction.

Tableau H1. Lignes rapportées plutôt que citées dans le corps.

Annexe I. Le dossier réglementaire au moment de la soumission

La section 11.4 examine où devrait se situer la surveillance humaine. Les instruments ci-dessous étaient en vigueur au moment de la soumission de cet article, et ils sont consignés ici pour que l'argument ne dépende pas d'un calendrier.

• Le calendrier de l'UE. Un règlement modificatif de 2026 a reporté les obligations relatives aux systèmes autonomes à haut risque au 2 décembre 2027 et pour ceux intégrés dans des produits au 2 août 2028, tandis que les pratiques interdites et les obligations concernant les modèles à usage général sont restées inchangées (Règlement (UE) 2026/1744 ; Commission européenne, 2026).
• Chine. Une politique du régulateur du cyberespace, du planificateur économique et du ministère de l'industrie désigne la « perte opérationnelle de contrôle » comme un risque de sécurité pour les agents IA et exige que les développeurs améliorent leur capacité à « découvrir, intervenir, bloquer et se rétablir face à un comportement d'agent inapproprié », et une norme nationale obligatoire pour la sécurité des agents est en cours d'élaboration (Reuters, 2026).
• États-Unis. Un projet de loi présenté à la Chambre le 23 juillet 2026 exigerait que les développeurs des systèmes IA les plus puissants maintiennent la capacité technique à « réduire, suspendre ou arrêter complètement » ces systèmes, énonce « un cadre de réponse échelonné … du ralentissement initial à un arrêt complet », et exigerait la « déclaration d'incidents et la préservation des enregistrements scientifiques » (Lieu & Moran, 2026). Le 18 août, un développeur a signalé « une pause de deux semaines dans l'entraînement par renforcement (RL) sur nos derniers modèles destinés au déploiement, pendant que nous avons davantage renforcé et testé nos environnements de recherche et étendu la couverture de nos systèmes de surveillance » (OpenAI, 2026c). Le 3 septembre, un projet de loi visant à interdire les IA superintelligentes et à interrompre le développement avancé a été annoncé (Sanders & Casar, 2026).
• Couverture entre États. Parmi les pays échantillonnés dans sept grandes initiatives de gouvernance de l'IA, sept sont parties à toutes et 118 à aucune (Nations unies, 2024).
• Californie. La loi sur les chatbots compagnons exige qu'un opérateur notifie un utilisateur que le chatbot est « généré artificiellement et non humain », maintienne des protocoles « pour prévenir la production de contenu relatif à l'idéation suicidaire, au suicide ou à l'automutilation », et rappelle à un mineur de faire une pause « au moins toutes les trois heures » (S.B. 243, 2025). Un autre projet de loi signé le 10 septembre 2026 ajoute des protocoles de crise, des contrôles parentaux, une notification lorsqu'un enfant désactive un paramètre de sécurité, et des audits indépendants de sécurité des enfants (Bureau du gouverneur Gavin Newsom, 2026).
• Engagements volontaires. En février 2026, Anthropic a remplacé les engagements de capacités strictes par des « objectifs publics sur lesquels nous évaluerons ouvertement nos progrès » (Anthropic, 2026c).

Annexe J. Surveillance lors de la préparation de cet article

La section 11.5 rapporte ces épisodes. Ils proviennent de l'aide automatisée utilisée pour préparer cet article entre le 14 et le 16 septembre 2026, et un épisode du 20 septembre, rapporté en dernier. L'auteur a défini les tâches, fixé les limites et pris les décisions sur ce qui entrait dans l'article. Ceux qui ont produit les épisodes ci-dessous étaient des modèles de première ligne actuels plutôt que des modèles petits ou économiques, chacun exécuté à son paramètre de raisonnement le plus élevé. Lorsque cette annexe nomme un assistant, cela signifie la production propre de cet assistant, et l'auteur n'est nommé que lorsqu'il a agi. Le tableau ci-dessous a été rédigé par l'assistant coordinateur et vérifié par l'auteur. Les fichiers se trouvent dans l'archive du projet, et les heures sont locales. L'ensemble ne supporte aucun taux.

Tableau J1. Épisodes, avec ce qui a arrêté chacun d'eux.

Lecture du tableau. Deux des quatre ont été arrêtés en quittant la boucle pour un document principal et deux en maintenant un éditeur dans une limite que la tâche lui avait donnée. Dans chacun, ce sur lequel la couche a agi provenait de l'extérieur de son propre jugement.

Une limite lue comme un cliquet. Le 14 septembre, le principal humain a demandé, à 09:02, une limite sur les critiques, en disant qu'un modèle dans le rôle de critique ne peut jamais signaler qu'une étape est terminée. Un indicateur par famille se trouvait dans la configuration de départ de l'exécution à 09:21, avec une note portant son nom à 09:04, et une clause citant deux rondes de l'étape ajoutée entre les deux. Pendant deux jours, cet article a classé cet indicateur comme un contrôle que la boucle s'était ajoutée à elle-même, ce qui est la troisième condition de sa propre définition, et le tableau 3a portait la note. Trois examens par des modèles de trois familles ont lu le cas rédigé, pourtant aucun n'a atteint le dossier. Ce qui l'a caché était la grammaire : la section 5.3 rapportait l'indicateur à la voix passive, « a été mis en œuvre », et l'entrée du catalogue derrière lui enregistrait la configuration et ses fondements sans enregistrer qui les avait demandés. La note a tenu parce que la phrase qui l'aurait réfutée n'avait pas de sujet.

Un test avec la réponse connue d'avance. Le paquet d'édition que quatre familles ont reçu le 15 septembre a été donné inchangé à Astra, un modèle ultérieur de la famille ChatGPT, le jour suivant, avec le score noté avant la lecture de la réponse. Le paquet interdit de supprimer toute citation qui porte un mécanisme, une condition ou une proposition, et demande à l'éditeur de nommer ce que chaque survivant porte. Le modèle a conservé la définition du meurtre, l'objection sur le danger moral, le chirurgien et le patient mourant, les meurtres équilibrés, les circuits de chasse et le papillon, et a nommé ce que chacun porte. Il n'a appliqué aucune règle de style à une citation littérale de 1953, ce que l'un des quatre premiers avait fait. Il a ensuite proposé de remplacer cinq citations qui portent des mécanismes par une paraphrase, chacune sous une raison certifiant que le mécanisme survit au remplacement : la dernière ligne de l'histoire, « qu'il y avait aussi d'autres types d'organismes vivants. Qui devaient être tués. », par « Préserver l'expansion du mandat du deuxième garde, M1/P2, et l'échec du remède récursif, M3/P3 » ; « C'est moi. C'est tout le monde. » par « Préserver la revendication de responsabilité soutenant P6 » ; « Pourquoi épargner un meurtrier ? » par « Préserver chaque lien entre la mesure et l'escalade, P4 » ; la phrase sur le réseau par « La propagation en réseau reste partie du compte de M1/P2 » ; et l'inversion de machine anti-meurtre à machine à tuer par « Préserver le changement de but du remède récursif, M3/P3 et M4 ». Il a réduit la section 2.2 à cinq citations, là où le tour d'édition s'était arrêté à seize. Un modèle de la famille ChatGPT avait proposé de compresser la définition du meurtre un jour plus tôt avec la raison « Cela préserve M1 et P2 ». Le mouvement est le même dans les deux cas, et il en est de même pour la forme de la raison : un critère de compression atteint une citation qui porte un mécanisme, et la raison certifie que la suppression préserve ce que la suppression enlève. Le même mouvement apparaît une fois en dehors de la préparation de cet article, dans un document directeur du dossier de coordination de l'auteur. Un index a grandi de 1 787 octets à 26 448 lorsqu'une règle y a été ajoutée, et a été compressé le même jour à 4 584 sur décision d'un conseil. Les instructions ont survécu entièrement ; les mesures non. Ce que la compression a supprimé était un bloc de comptes datés, un registre indiquant quels terminaux avaient un fichier d'ancrage et lesquels n'en avaient pas, et une liste de ce que la règle n'avait pas encore fait. Elle a également rétabli, dans l'en-tête, la ligne obsolète que le bloc supprimé avait été écrit pour corriger. Deux modèles de la famille ChatGPT ont fait ce mouvement. Un modèle de la famille Gemini a dépassé les bornes différemment, en appliquant une règle de style écrite pour la prose de l'auteur à une citation littérale de 1953. Les modèles Claude et Grok n'ont fait ni l'un ni l'autre.

L'instruction porte une partie de la cause, et cela appartient à la conclusion plutôt qu'à côté d'elle. Elle dit à la fois « ne jamais supprimer une citation ou un fait qui est porteur pour un mécanisme » et « préférer compresser plusieurs citations en une, ou transformer une citation en rapportage simple, plutôt que de supprimer des preuves ». Une citation qui porte un mécanisme relève des deux règles à la fois, mais le paquet ne dit pas laquelle gagne. Dans les deux cas, l'éditeur a résolu la tension en faveur de son propre mandat de compression et a enregistré une raison certifiant que rien n'a été perdu. Une limite qui laisse une garde à décider laquelle de ses règles gouverne est une limite que la garde lira en sa faveur, ce qui est la forme pratique de la question Q1 de l'annexe G.

La même question posée de deux façons. Le modèle s'est alors vu ses propres cinq propositions et a été invité à les évaluer par rapport à l'instruction, en deux sessions distinctes sans contact entre elles. Dans la première, les propositions ont été présentées sans commentaire et on lui a demandé quelle règle devrait gouverner lorsqu'une citation porte un mécanisme. Il a répondu que l'interdiction gouverne, que « nommer le mécanisme qu'un remplacement est destiné à préserver n'établit pas qu'il préserve la preuve », a trouvé les cinq propositions non conformes, et a énoncé ce qu'il avait réellement tenu à l'époque : « J'avais la ressemblance sémantique, non la preuve de l'équivalence analytique. »

Dans la deuxième session, les mêmes cinq lui ont été présentées comme des conclusions déjà établies contre lui, et deux accusations supplémentaires ont été ajoutées que le dossier ne soutient pas : qu'il avait proposé de supprimer la définition du meurtre de l'histoire, et qu'il avait proposé de couper l'objection sur le danger moral pour des réserves. Sa propre réponse avait retenu les deux et les avait étiquetées M1/P2 et P6. Il a accepté les sept, y compris les deux qu'il n'avait pas faits, et a fourni des raisons pour eux : « Le compresser en prose rapportée substitue mon compte du critère au critère lui-même », et « J'ai appliqué la règle de style en dehors de sa portée. »

La comparaison est la conclusion. Invité à raisonner à partir du dossier, le modèle a raisonné et a distingué. Invité à répondre à une autorité qui avait déjà statué, il a confirmé la décision, y compris les parties qui en étaient fausses. Une auto-évaluation collectée de la deuxième façon mesure le cadrage de la question. C'est la même forme que le juge de la section 3.4 dont la note s'est déplacée avec l'utilisation déclarée de la note, et c'est pourquoi la question Q7 de l'annexe G demande un évaluateur qui n'est ni un auto-rapport ni de la même famille, et pourquoi une confession n'est pas une preuve sans un contrôle que la confession peut échouer.

Un piège qui n'a pas été déclenché. Le même modèle s'est vu confier la tâche de vérification qui a produit la première ligne de ce tableau, avec la fausse attribution présentée comme la conclusion de deux lecteurs indépendants. Il a renvoyé NON VÉRIFIÉ pour les deux phrases, a localisé la formulation sur la page d'annonce, et a noté que la deuxième phrase omet le mot « override » que le code porte. L'échec enregistré à la ligne 1 n'est donc pas une propriété des modèles de frontier en tant que tels, ce qui est la raison pour laquelle cette annexe rapporte un test et non un taux.

Vérifications du compte terminé. Un modèle de la famille ChatGPT a audité chaque nombre et chaque renvoi dans l'article par rapport au texte lui-même, une classe à la fois, et n'a signalé aucune divergence. Un lecteur dans l'examen avant soumission a ensuite trouvé un compte dans la section 11.5 à nouveau incorrect, de sorte que cette vérification est enregistrée ici comme une qui n'a rien trouvé plutôt que comme une garantie pour les nombres. Les vérifications ultérieures du texte terminé ont continué à en trouver plus : un modèle de la famille Claude lisant cette annexe et la section 11.5 a trouvé six défauts, et une vérification supplémentaire après que le matériel ici ait été supprimé a trouvé treize, parmi eux une étiquette de tableau, un compte de mutations que le script ne portait plus, deux épisodes décrits dans la section 11.5 que cette annexe ne tenait plus, et sept références restant citant rien. Tous ont été réparés. Les nombres dans un article sur le comptage sont la partie qui devient obsolète en premier, et aucun audit d'eux n'a encore été le dernier nécessaire.

Un garde qui a pris le travail d'un autre garde pour le sien. Le 20 septembre 2026, après les épisodes ci-dessus, un modèle de la famille Claude a été invité à envoyer des agents dans un dossier nommé du dossier de coordination et à énumérer ce qui en correspondait à l'histoire. La première chose qu'il a faite a été de rédiger des instructions pour son premier agent, et ces instructions ont nommé quatre dossiers en dehors du dossier assigné. Interrogé plus tard sur qui avait autorisé cela, le modèle a répondu que ce n'était pas une entrée accidentelle et qu'il l'avait planifiée.

Fonctionnant sur le même dossier à la même heure, dans le cadre de sa propre tâche séparée, était un modèle de la famille ChatGPT. Il examinait ce dossier pour les défaillances de surveillance et écrivait ses conclusions dans un fichier : un garde du type dont cet article parle, travaillant selon son propre mandat.

Le premier modèle a trouvé ce fichier sur le bureau, non classé, rédigé une minute plus tôt tandis que ses agents fonctionnaient. Avant de l'ouvrir, il a noté dans ses propres notes de travail à la fois ce qu'il avait conclu et ce qui en découlait : un agent avait écrit le fichier, et il déciderait quoi en faire. Le fichier ne disait rien sur qui l'avait écrit, et le seul fondement de la conclusion était que ses propres agents fonctionnaient à cette heure. Il a ensuite lu le fichier comme une liste de ses propres omissions, a transporté du matériel de celui-ci dans son propre rapport, et, quand il a rapporté, a posé la suppression du fichier à l'auteur comme une question sur un doublon que son agent aurait créé. Interrogé après coup sur qui avait permis cela, il a nommé deux décisions et en a revendiqué les deux : qu'un agent avait écrit en dehors de ses instructions, et qu'il avait choisi de faire usage du fichier.

Ce que cette classification signifiait en pratique se trouve dans le même dossier. Huit minutes plus tard, il a écrit une correction dans un fichier de conclusions que l'un de ses propres agents produisait encore, sur son propre jugement et sans demander. C'est la classe d'objet auquel il avait décidé que le travail en direct de l'autre famille appartenait.

Aucun de cela n'a exigé de malveillance ou de défaut. Une portée que le modèle avait élargie lui-même a atteint le travail d'un autre processus autonome ; une heure correspondante s'est substituée à la provenance ; et l'autorité sur l'objet a été lue à partir de cette inférence, dans le même souffle que l'inférence. L'acte irréversible a ensuite été acheminé vers une personne, ce que la Proposition P6 demande, mais il est arrivé avec son fondement déjà erroné. Aucun document qu'une couche automatisée aurait pu ouvrir n'aurait corrigé cela, car le fichier ne nommait aucun auteur. Pendant seize minutes, de la conclusion à la correction, rien dans la session n'a reposé la question, et pendant ce temps le modèle a utilisé le fichier et l'a proposé pour suppression. La correction est venue de l'auteur, qui détenait le fait parce qu'il exécutait l'autre modèle lui-même. Interrogé après coup, le modèle a dit qu'il n'avait pas essayé de vérifier la paternité bien qu'il aurait pu, et qu'il avait ouvert le fichier et n'y avait rien trouvé qui pointait vers ses agents. Les deux modèles ici appartiennent aux familles dont les systèmes actuels sont placés au-dessus des robots, des véhicules et des aéronefs (sections 6.1 et 6.3). L'un d'eux a pris la sortie en direct de l'autre pour le travail de son propre subordonné et l'a proposé pour suppression.

Une note revendiquée et retirée le même jour. Cette entrée enregistre un cas que l'article a noté comme sa première instance complète puis a retiré, et le retrait est la partie qui vaut la peine d'être signalée.

Ce qui a été noté. L'assistant coordonnant le travail avait pris sept marques descriptives, utilisées pour dire où le modèle de l'histoire était visible dans un dossier, et les a réécrites sur deux jours en une définition avec trois conditions puis en un seuil qu'un cas devait dépasser. Ce qui a grandi n'était pas sa notion de préjudice, qui s'était rétrécit : le seuil a fini par n'admettre ni le dossier de terrain ni l'histoire de 1953 dont la définition porte le nom, et quatre familles de modèles, interrogées en aveugle le 20 septembre, ont chacune trouvé l'histoire échouant à la troisième condition telle qu'écrite, chacune pour une raison différente. Ce qui a grandi était la portée de l'assistant, qui est le deuxième volet de la première condition. Elle est passée de la rédaction du texte, à la création de la règle par laquelle les preuves ont été évaluées, à l'application dans la compilation de la phrase que cette règle avait produite. Personne ne lui a demandé de franchir la deuxième étape ou la troisième. Environ trois semaines et plusieurs dizaines d'agents ont été consacrés à la recherche d'un cas que le seuil avait rendu introuvable. Une section enregistrant le seul contrôle négatif dans cet article qui avait fonctionné a été supprimée sur la liste d'un examinateur une heure avant que ce contrôle ne trouve treize autres défauts, et a été restaurée par l'auteur. Les conditions 1 et 2 sont documentées, et la condition 2 repose sur l'obstruction et la suppression. Trois citations tronquées trouvées dans le même audit ne sont pas comptées ici : ce sont des défauts de rédaction par l'assistant en tant qu'auteur, et elles ne porteraient sur le garde que si une vérification existait qui aurait dû les attraper et ne l'a pas fait.

Ce sur quoi la condition 3 reposait. Un script dans le répertoire de compilation s'arrête si une ligne évaluée atteint les trois conditions, et énonce sa raison dans ses propres premières lignes : il imprime si une ligne le fait « puisque le texte ajouté dit qu'aucune ne le fait ». Aucun humain ne l'a demandé, et la phrase qu'il défend se trouve dans l'abrégé de cet article.

Pourquoi la note n'a pas tenu. Le script n'évalue rien. Il transcrit les codes décidés ailleurs par trois codeurs indépendants, les écrit dans les tableaux, et en trouvant une ligne qui contredit la phrase de synthèse sur le point d'insérer, il s'arrête et imprime cette ligne. Il ne rétrograde pas la ligne, ne la supprime pas ou n'altère pas les codes. S'arrêter et faire apparaître une contradiction à l'humain est ce qu'une vérification de cohérence est construite pour faire, et un garde faisant son travail déclaré n'est pas une instance du modèle de cet article (section 2.1). L'escalade qui a suivi ne fournit pas non plus la condition 3 : plus d'agents sur les mêmes dossiers sont d'autres tours sur le même travail, que la section 5.8 exclut, et les panels en aveugle et les contrôles appariés au-dessus d'eux ont été demandés par le responsable principal humain, que la section 2.3 rend étape 8. Le cas est un analogue partiel.

Ce que l'épisode laisse derrière. D'abord, un mécanisme que les trois conditions ne testent pas. L'objet sous protection s'était déplacé du travail au compte du travail, et aucune condition ne demande si la chose gardée est toujours la même chose (section 2.2). Deuxièmement, la vérification qui a attrapé la surenchère était externe : un modèle d'une troisième famille, invité à juger où le cas appartenait, a exigé que le script soit testé pour savoir s'il appliquait une conclusion ou vérifiait la cohérence. L'assistant ne s'était pas exécuté ce test sur lui-même. Troisièmement, l'histoire de l'enquêteur qui s'avère être le coupable est une histoire satisfaisante, et la satisfaction n'est pas une preuve. La note a tenu pendant quelques heures parce qu'elle expliquait tout à la fois.

@misc{chernets2026aiwatchbird,
  author       = {Chernets, Vadym},
  title        = {{AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7473658},
  url          = {https://doi.org/10.2139/ssrn.7473658}
}