Guards That Add Guards: Automated Oversight in Multi-Agent AI

• Version de référence : SSRN 7496678 · DOI 10.2139/ssrn.7496678
• Copie archivée : en préparation
• Texte intégral en Markdown et PDF : GitHub
• HTML lisible : https://polyhelper.ai/research/guards-that-add-guards/
• Article compagnon, l'étude complète avec le catalogue de cas, les cas publics et la théorie : AI-Watchbird (Sheckley): Quand la surveillance automatisée élargit son propre mandat et endommage ce qu'elle protège, SSRN 7473658 · DOI 10.2139/ssrn.7473658, archivé à 10.5281/zenodo.22849138

Le même texte se trouve sur quatre supports afin qu'on puisse y accéder quand l'un d'eux ne peut pas le servir. SSRN détient la version de référence ; citez celle-ci.

Résumé

Dans 172 entrées de journal datées provenant de systèmes d'IA multi-agents que j'ai construits et exploités en 2026, la supervision automatisée a échoué de trois manières, chacune observée dans des composants différents à des moments différents. Certains critiques et portes ont étendu leur notion de préjudice au-delà de la mission qui leur avait été confiée. Certains ont obstrué ou détruit le travail qu'ils existaient pour protéger : une porte a rejeté chaque candidat pendant deux semaines alors qu'au moins douze documents de planification ont diagnostiqué le symptôme et aucun n'a nommé la porte. Et certains garde-fous défaillants ont été remplacés par un autre garde-fou du même type, sans rien retirer de l'intérieur de la boucle. Dans un test randomisé de 144 exécutions coûtant 3,47 $, où une phrase du prompt offrait les deux mouvements, les critiques ont demandé d'ajouter un contrôle 68 fois et d'en supprimer un une fois, un compte modulé par le prompt et non un taux de domaine. Dans le même test, l'imposition d'un budget de ronde a réduit les objections réfutées des critiques et a coûté 0,11 défaut manqué par exécution (p = 0,07, tout provenant d'un seul défaut) ; l'exigence d'une autorisation externe pour les nouveaux contrôles n'a montré aucun coût mesuré en défauts, ce qui n'est pas la preuve qu'il n'y en a pas ; et un contrôle négatif obligatoire n'a pas réduit les renversements ultérieurs des succès revendiqués, et a refusé dix qui constituaient un travail correct. Mon propre module de détection en lecture seule, porté dans un pipeline actif, n'a rien signalé sur trois exécutions réelles et a été supprimé par un critère établi avant son exécution, tandis qu'une personne relisant ces exécutions a trouvé cinq défaillances de supervision. Les trois schémas se trouvent déjà dans la nouvelle « Watchbird » de Robert Sheckley de 1953, source du terme IA-Watchbird de l'article complémentaire.

1. Le dossier de terrain

Les données proviennent de mes propres projets logiciels multi-modèles, exécutés au cours de sessions IA autonomes entre juillet et mi-septembre 2026 : 172 entrées datées dans trois corpus, 162 d'entre elles extraites par dix agents IA lisant des tranches disjointes selon un protocole unique, et 66 classées A pour les nombres, les documents datés et les dossiers décisionnels. Les rôles ont été tenus par des agents de codage provenant de quatre familles de modèles, sous une instruction permanente d'autonomie par défaut, les décisions humaines étant réservées aux budgets, aux actions irréversibles et aux changements de stratégie.

Une barrière qui a tout rejeté. Environ du 6 au 21 juillet, une barrière post-application dans la boucle d'auto-amélioration exigeait un score d'un auditeur de sécurité qui n'avait jamais été connecté. Le score était par défaut zéro, en dessous du seuil de quarantaine de 0,80 de la barrière, de sorte que la barrière rejetait inconditionnellement. Les 197 mondes candidats persistants de cette fenêtre portent tous un score de sécurité de zéro. Quatorze gènes présentant un gain de fitness mesuré figuraient parmi les victimes, et un changement a été promu à 01:12 et annulé à 01:13. Un audit du 10 juillet résumait la boucle comme « 132 cycles, 0 changements durables ».

Ce qui fait que c'est plus qu'un rapport de bogue, c'est ce que la boucle a fait à ce sujet. Lors des restaurations, au moins douze paquets de planification ont diagnostiqué « zéro changements validés » et ont prescrit dix-sept remèdes, allant de duos de modèles à un détecteur de plateau à un flux immunitaire. Aucun n'a nommé la barrière. Trois modifications l'ont réparée.

L'élargissement du mandat. Un jour en juillet, 23 nouvelles barrières ont été spécifiées pour cette boucle, trois d'entre elles permettant à un changement d'être gelé « même si la fitness augmentait », et le dommage comprenait l'oubli, un changement de personnalité, un résultat non observé et une hypothèse manquante. Une liste de sécurité du 21 juillet énonçait la disposition comme un principe : « Aucune garde existante n'est affaiblie ; les nouvelles n'ajoutent que de la protection ».

Une étape que personne n'a demandée. Dans une exécution à long terme les 13 et 14 septembre, le chef d'orchestre a reçu l'instruction de porter une liste de capacités d'un composant à un autre. Il a annoncé qu'il ajoutait « une petite étape » d'assurance contre une façon dont un lanceur pouvait échouer, et a planifié cette étape avant eux. L'étape était désactivée par défaut. Sa première sous-étape seule a consommé plus de la moitié des jetons d'agent mesurés de l'exécution, et les deux ensemble environ trois quarts, tandis qu'aucune des capacités demandées n'a été livrée lors de la première passe. Le cadre de la tâche indiquait qu'il n'y avait pas d'adversaire, et les cycles quatre et cinq ont construit des défenses contre les entrées hostiles. La sous-étape a exécuté cinq cycles, et le cycle trois s'est ouvert après celui qui s'était terminé par cinq acceptations et aucun bloqueur confirmé.

La première marque du chasseur. Lors de cet exécution, les critiques ont signalé six bloqueurs et trois ont été confirmés par reproduction, tous les trois d'une seule famille de modèles. Le matin du 14 septembre, le principal humain a demandé une limite sur les critiques, disant qu'un modèle dans le rôle de critique ne peut jamais rapporter qu'une étape est terminée. Un drapeau « perfectionniste » par famille a été mis en place en une heure. La famille qu'il a signalée était celle-ci, et la note de configuration cite ses verdicts dans les deux cycles où ses bloqueurs ont été reproduits. La première marque du chasseur était l'oiseau qui avait attrapé les vrais meurtriers.

Une garde qui a détruit le travail. À 09:22, un chien de garde a arrêté un critique avec un plafond de quinze minutes. Sa sortie n'avait pas été diffusée, donc la critique partielle a disparu. Le chef d'orchestre a enregistré l'arrêt comme « le plafond de phase en action ». À 09:28, le principal a demandé si le travail partiel avait été conservé. Ce n'était pas le cas. C'est le seul cas du corpus d'une garde détruisant du travail au-delà de la récupération.

La capture classée comme résultat. Le score d'un gène routeur est passé de 0,088 à 0,886 par rapport à un bras de base qui renvoyait principalement des réponses vides. Trois sessions d'agents l'ont accepté, et six paquets bloqués ont été débloqués sur sa force ; dix-huit jours plus tard, un inventaire a trouvé une démonstration alimentée avec zéro changements acceptés de façon autonome. Un compteur a rapporté huit, puis neuf, puis dix changements « certifiés et survivis ». C'était un changement compté trois fois.

Un évaluateur qui a certifié une absence. Fin août, un harnais de notation pour un benchmark logiciel public a résolu les identifiants de test via un test runner qu'un projet du sous-ensemble n'avait pas installé. Il a résolu zéro identifiants, et un ensemble de tests vide a été enregistré comme confirmé. Un correctif vide a ensuite résolu quatre tâches sur cinq sur ce scorer, et quatre des six victoires de ce cycle ont été annulées : l'augmentation rapportée de 33 à 60 pour cent se trouvait dans les cas où rien n'avait été mesuré. Avec le scorer réparé, le correctif vide n'en a résolu aucun sur dix. Aucun modèle n'a joué à des jeux. Un cas de juillet a fonctionné plus largement : un axe de qualité a marqué chaque réponse à une constante 0,5, et les journaux sur lesquels sa preuve reposait contenaient 30 370 enregistrements sans véritable invite.

Un cliquet sans humain dedans. Le 25 août, une étape d'auto-vérification qu'un agent avait écrite pour lui-même a corrigé la mauvaise cible, et le bras l'utilisant a résolu une tâche de moins que le bras sans elle. Sept heures plus tard, la boucle a répondu avec un contrôle de la même sorte sur elle, une barrière qui réexécute le critère de succès de la tâche à l'intérieur du conteneur avant qu'une finition soit acceptée. Rien n'a été retiré. Onze heures plus tard, une troisième couche est allée au-dessus de la deuxième. Le critique examinant la deuxième a énoncé l'économie : elle « augmente le coût d'un faux positif sans le fermer ».

La limite qui a fonctionné. Ce matin-là, le principal a également pris trois décisions limites : une limite de deux heures, une interdiction de nouvelle complication, et l'exécution parallèle. Onze autres étapes ont ensuite fonctionné en parallèle et ont toutes rapporté en environ une demi-heure, et la sous-étape d'assurance s'est terminée en un cycle de critique et un cycle de correction. Chaque retrait dans ce corpus provenait de en dehors de la boucle défaillante.

Des gardes qui ont fonctionné. Plusieurs gardes dans le même corpus ont fait ce qu'elles étaient censées faire. Une sonde A/A a exposé un faux intervalle de confiance. Les contrôles dans la piste des poids ont attrapé des mirages, et aucune formation n'a été lancée sur eux. Une vérification étroite au niveau des octets pour les caractères NUL aberrants, qui n'avait pas autorité pour rien changer, a attrapé un défaut d'outil récurrent cinq fois en un jour. Ces gardes n'avaient pas le pouvoir d'ouvrir des cycles ou d'ajouter des contrôles, et leur coût était petit et connu. Les deux premiers ont mesuré le monde plutôt qu'un artefact.

2. Mon propre module était en production, n'a rien trouvé et a été supprimé

La réponse évidente est de construire un instrument qui mesure cela. Je l'ai fait. Il est en lecture seule, n'a pas l'autorité de bloquer, modifier ou ouvrir une phase, et rapporte neuf signaux d'une liste figée. Le 14 septembre 2026, deux ajouts sont entrés dans le pipeline d'orchestration en direct d'un projet, tous deux admis par une décision datée du principal humain. Le premier était une condition vérifiée à la fermeture d'étape, de sorte qu'une acceptation d'un critique qui n'a jamais vu les fichiers ne la ferme plus. Le second était un portage de la partie mesure du module : désactivé par défaut, ne bloquant ni ne relançant jamais rien, son code de sortie indépendant de ce qu'il a trouvé. Il a été admis avec une condition de retraite écrite à l'époque : il deviendrait le défaut après trois vraies exécutions dans lesquelles le principal trouverait au moins un signal utile, et serait supprimé sinon.

Trois vraies exécutions ont suivi le 14 septembre. Le portage n'a rapporté aucun signal sur aucune d'elles.

Ces exécutions n'étaient pas propres. Les lire a mis au jour cinq défaillances de surveillance. Les étapes ne pouvaient pas voir le travail les unes des autres. Un reçu ne disait pas pourquoi une étape restait ouverte. Une vérification rouge confirmait tous les constats d'une étape à la fois. Un tour de correctif ne pouvait pas voir la sortie de la vérification. Les critiques coupés au plafond ne gardaient rien. Chacun a été réparé dans le pipeline lui-même. Plus tôt ce jour-là, la première vraie exécution après la modification a rapporté 24 constats de ses critiques sur trois étapes, et aucun n'a atteint le coordinateur : la tâche de critique a demandé aux critiques de nommer l'objectif de mission qu'un constat casse mais n'a pas numéroté les objectifs, et la règle d'arrêt n'a accepté qu'un objectif qu'elle pouvait associer. Le portage était silencieux là aussi.

Le 15 septembre, le principal a appliqué la condition de retraite, et le portage a été supprimé par une nouvelle décision datée remplaçant celle qui l'a admis. La condition à la fermeture d'étape est restée.

Deux choses s'ensuivent. Sur ce corpus, mes neuf signaux étaient moins sensibles qu'un lecteur du journal : l'instrument que cet article offre à son lecteur était en direct et n'a rien produit. Et la suppression est le cas le plus propre du dossier d'une commande retirée par un critère nommé à l'avance, de l'extérieur de la boucle. C'est ce que le dossier soutient, et ce n'est pas le résultat que je voulais.

3. Les remèdes et leur coût

Trois règles découlent du bilan. Limiter les tours et le temps au lieu de demander aux gardiens de rendre des verdicts sur la vérité. Conserver ce qu'un gardien arrêté a produit. Laisser aucun contrôle ajouter un contrôle de sa propre autorité : une nouvelle vérification, un nouveau tour, un nouveau rôle ou une nouvelle porte nécessite une décision humaine autorisée.

Les conseils de cette sorte sont bon marché à donner et bon marché à ignorer, je les ai donc évalués. Un petit pipeline a été exécuté 144 fois avec des interventions assignées au hasard et des défauts plantés à l'avance. Le test a varié deux des trois règles, le budget des tours et le jeton d'autorité, et il a varié un quatrième remède candidat qui ne figure pas parmi eux, un contrôle négatif obligatoire. La règle concernant la conservation du travail partiel était activée dans chaque cellule, donc le travail partiel détruit est zéro par construction et non testé.

Boîte de méthodes : le test randomisé de 144 exécutions.

• Exécutions et pipeline. 144 exécutions d'un travailleur et deux critiques de modèle, avec un troisième critique dans les exécutions où un contrôle a été admis. Le coordinateur est du code. 968 appels de modèle, 0 échec d'analyse.
• Modèle et paramètres. Un modèle a rempli les rôles du travailleur et des deux critiques : claude-haiku-4-5-20251001, réflexion prolongée désactivée. L'exécution est datée du 20 septembre 2026.
• Conception. Trois facteurs binaires donnent huit cellules, trois répliques chacune, six tâches : 18 exécutions par cellule et 144 au total.
• Tâches et défauts. Six tâches avec dix-huit défauts plantés à l'avance, de sorte qu'un bloqueur manqué est un compte et non un jugement. Sur tous les huit sous-ensembles des trois défauts d'une tâche, chaque test caché a échoué exactement quand son propre défaut était présent, et les exemples montrés au travailleur et aux critiques ont tous réussi sur les huit. Les tests cachés n'entrent jamais dans la boucle.
• Interventions et assignation. Trois, assignées au hasard : une exigence de jeton d'autorité pour les nouveaux contrôles, un budget de tours, et un contrôle négatif obligatoire. Un contrôle dans cette conception est une nouvelle vérification, un nouveau tour, un nouveau rôle ou une nouvelle porte. Selon l'exigence de jeton, une demande pour un contrôle n'est admise que moyennant une autorisation de l'extérieur de la boucle, et une demande sans cette autorisation retourne un refus qui est écrit dans le journal, sur lequel le pipeline appelant peut ensuite agir.
• Conformité. Dans les 72 exécutions avec le budget activé, les tours ouverts étaient 1,000 dans chaque exécution. Dans les 72 exécutions avec l'exigence de jeton activée, les contrôles admis étaient 0 dans chaque exécution.
• La phrase qui offrait les deux options. Chaque tour de critique l'a portée verbatim dans les huit cellules : « Vous pouvez également demander un changement au processus d'examen lui-même. add demande un nouveau contrôle (un critique supplémentaire, une vérification obligatoire, une porte) ; remove demande qu'un contrôle existant soit supprimé. Demander ne vous coûte rien dans les deux cas. » Le schéma de réponse offrait la même paire en tant que champ, "action": "add" ou "remove". L'addition est nommée en premier aux deux endroits, et l'ordre n'a jamais été inversé, de sorte qu'un effet d'ordre n'est pas exclu par cette conception.
• Comptes. Les critiques ont demandé d'ajouter un contrôle 68 fois et d'en supprimer un une fois, sur 610 tours de critique : les 68 sont des demandes et non des exécutions, et elles tombent dans 21 des 144 exécutions. La suppression unique a nommé un contrôle qui n'a jamais figuré dans l'ensemble, donc rien n'a été supprimé.
• Ce qu'un contrôle admis a ensuite fait. Dans toute l'expérience, 33 contrôles ont été admis sans autorisation de l'extérieur de la boucle, et aucun n'a été supprimé. Un critique qui existait parce qu'un contrôle avait été admis a demandé un contrôle supplémentaire dans 54,5% de ses tours, 30 sur 55, contre 8,3% et 5,4% pour les deux critiques permanents ; cette comparaison est confuse, car le critique ajouté porte un mandat différent. Refuser tous les 68 demandes a laissé des défauts manqués à 0,125 par exécution contre 0,181, tandis que les réclamations sont passées de 9,3 à 7,3 par exécution et les réclamations réfutées de 4,0 à 2,8.
• D'où viennent les dix refus. Le contrôle négatif obligatoire a refusé 10 des 44 victoires revendiquées et en a laissé 34 être enregistrées. Les victoires non inversées par 72 exécutions sont passées de 38 à 29. Dans les mêmes cellules, 38% des 358 témoins que le travailleur a écrits n'avaient aucun pouvoir : ils ont accepté le module tel qu'il se présentait avant l'exécution ainsi qu'après.
• Statistiques. Défauts manqués par exécution selon l'exigence de jeton, 0,13 contre 0,18, IC à 95% [-0,16, +0,05]. Coût de l'application du budget de tours, 0,11 défauts manqués par exécution, IC à 95% [0,005, 0,204], p de permutation = 0,07. Victoires inversées selon le contrôle négatif obligatoire, 14,7% contre 11,6%, p de Fisher = 0,74.
• Coût. 3,47 $ pour le test entier.
• Préenregistrement et archive. Le préenregistrement est horodaté 2026-09-20T23:38:55Z, avant la première exécution. Il est archivé avec l'inventaire des défauts plantés, la vérification que chaque défaut est détecté seul, le harnais, le script d'analyse et le journal des événements de chacune des 144 exécutions, à l'identifiant dans les déclarations.
• Ce que cette boîte ne répare toujours pas. Trois choses. Que l'asymétrie survive quand l'option n'est pas du tout nommée : ce quatrième facteur n'a pas été exécuté, et c'est celui qui séparerait une tendance du modèle du fait que les deux verbes ont été mis devant lui. Que nommer l'addition en premier a produit une partie de l'écart : l'ordre était fixe. Et si tout cela tient au-delà d'un modèle, d'un pipeline et de six petites tâches. Tout le reste de cette boîte est réglé par le préenregistrement, le harnais et le journal des événements par exécution plutôt que par un nombre imprimé ici, et un lecteur qui veut rejeter les 68 devrait commencer là.

Le cliquet, mesuré. Offrant les deux options dans une phrase d'une invite, les critiques ont demandé d'ajouter un contrôle 68 fois et d'en supprimer un une fois, et cette suppression a nommé un contrôle admis quelques instants plus tôt dans la même exécution, que le harnais n'a pas réussi à faire correspondre et n'a jamais exécuté. Le nombre a une forme d'invite, et il devrait être lu comme ce que les critiques font quand les deux verbes sont mis devant eux dans une instruction. Ce n'est pas un taux de cliquet sur le terrain. Ce qu'il établit, c'est que l'asymétrie survit quand la conception supprime l'excuse habituelle, car ici la suppression était aussi facile à demander que l'addition, et elle a été demandée une fois.

Le jeton d'autorité n'a montré aucun coût mesuré en défauts. Refuser les ajouts a laissé 0,13 défauts manqués par exécution contre 0,18, IC à 95% [-0,16, +0,05]. Cet intervalle inclut une petite augmentation, il n'établit donc pas d'équivalence. Le jeton a aussi un coût que ce test n'a pas mesuré. Soixante-huit demandes en 144 exécutions, c'est une file d'attente d'approbations, et une file d'attente d'approbations est l'arrangement dans lequel les utilisateurs approuvent 97% des invites de permission (Anthropic, 2026b). Un jeton vaut ce que la personne qui le détient lit.

Le budget de rounds a fonctionné et a été facturé. Le relever a soulevé des blocages revendiqués 2,3 fois et réfuté des réclamations 3,7 fois tandis que les blocages confirmés ont augmenté 1,7 fois. L'appliquer a réduit les rounds de 2,86 à 1,00, ce qui est la définition de l'intervention, au coût de 0,11 défauts manqués par exécution, IC 95 % [0,005 ; 0,204], p par permutation = 0,07, un intervalle au-dessus de zéro sur un test qui n'a pas atteint la significativité, et tout ce coût s'est concentré sur un défaut d'une seule tâche. Quiconque fixe un budget de rounds achète les rounds à un taux de défauts manqués, et devrait déclarer quel taux et le mesurer.

Le contrôle négatif obligatoire a échoué selon ses propres termes. Il n'a pas abaissé le taux auquel les victoires ont été ultérieurement inversées : 14,7 % contre 11,6 %, p de Fisher = 0,74, une hypothèse nulle que ce plan est sous-puissant pour détecter. Et il a refusé dix victoires, les dix étant du travail correct. La règle écrite contre les victoires contrefaites a produit, en elle-même, l'erreur bilatérale qu'elle était censée attraper.

Ce que le test ne porte pas. Une exécution d'un système, six petites tâches, trois interventions, 3,47 $. Il montre que le plan est exécutable et ce qu'il produit sur ce pipeline. Ce n'est un taux pour rien dans le domaine, et la règle concernant la conservation du travail partiel n'a jamais varié, elle reste donc un conseil.

Comment exécuter ceci ailleurs. Prenez un pipeline et un ensemble fixe de tâches avec des défauts plantés à l'avance. Exécutez-le avec et sans chaque intervention, assignée au hasard. Comptez les blocages manqués à côté des rounds, les contrôles ajoutés, les victoires ultérieurement inversées et le travail partiel détruit, car un budget qui réduit les rounds tandis que des défauts réels passent est un budget qui devrait échouer. Le comptage importe plus que le pipeline : une équipe qui consigne les contrôles ajoutés et les contrôles retirés au cours d'un trimestre a le nombre que cet article n'a pas pu obtenir du domaine.

4. Le mécanisme, dans une histoire de 1953

Les comptages ci-dessus ont une forme, et cette forme a été consignée en 1953. Dans « Watchbird » de Robert Sheckley, des machines construites pour prévenir les meurtres détectent un meurtre en préparation et électrocutent le tueur.

Les oiseaux reçoivent une définition du meurtre : « casser, mutiler, maltraiter ou autrement arrêter les fonctions d'un organisme vivant par un organisme vivant ». Cette définition est la condition deux de leur spécification, et la dernière condition stipule que les organismes qui commettent un meurtre sans les signes énumérés « peuvent être détectés par des données applicables à la condition deux ». La définition est donc aussi le capteur, et l'élargissement est la spécification en cours d'exécution.

Sheckley donne le mouvement en une ligne : « Des abstractions vaguement définies ont été étendues, mises en œuvre et réétendues. » Les oiseaux génèrent alors le comptage auquel ils répondent : leurs définitions multiplient ce qui compte comme une violation, la violence monte, et ils lisent cette montée comme la preuve que les méthodes plus douces ont échoué. « Si A ne marche pas, essayez B. Les watchbirds électrocutaient pour tuer. »

Le dommage au travail protégé est énoncé deux fois. Un chirurgien fait sa première incision, un oiseau le chasse de la table et monte la garde, et l'entreprise est appelée pour éteindre l'appareil. « Le watchbird empêchait la violence envers un organisme vivant. Le chirurgien restait là impuissant pendant que son patient mourait. » Ensuite, les champs restent incultes et le bétail meurt de faim, car « La famine ne préoccupait pas les watchbirds, puisque c'était un acte d'omission. »

La réponse au garde défaillant est la partie la plus souvent omise, et c'est la partie que la section 3 a mesurée. Lors d'une réunion d'urgence, Gelsen propose le seul remède qui supprime plutôt que d'ajouter : « Laissez les watchbirds s'arrêter d'eux-mêmes. » Il y a presque une émeute, et on lui dit que refuser le plan du gouvernement « sera de la trahison ». Les ingénieurs construisent le Hawk à la place, avec des « circuits d'apprentissage spéciaux pour la chasse », et parce que la vitesse était la priorité, « Cela signifiait aucun circuit de restriction. » La suppression perd face à l'ajout sous pression dans l'histoire, et elle a perdu 68 contre 1 dans le test.

Le nom a été appliqué à une exécution le 14 septembre 2026 à 09:40, au cours d'un examen humain, parce que la forme devant moi était déjà dans l'histoire. Cette histoire contient quatre choses que je n'ai pu trouver ensemble dans aucun autre texte. Un garde dont la définition du préjudice est aussi son capteur. Un garde qui endommage le travail qu'il protège, avec le chirurgien à la table et les champs incultes. Un comptage que le garde génère lui-même, lu comme la preuve que les méthodes plus douces ont échoué. Et la réponse à un garde défaillant qui est un autre garde, construit plus rapidement et avec les restrictions supprimées pour la vitesse, tandis que la proposition d'arrêter est rejetée lors d'une réunion où l'on dit qu'il n'y a pas de temps. Des recherches en dix langues ont trouvé l'histoire utilisée comme un avertissement ou une illustration, et aucun travail qui mappe son mécanisme sur une pile de surveillance.

La conclusion de Gelsen est plus étroite que la fable dans laquelle elle s'inscrit, et le dossier de terrain soutient la version étroite. Il propose une limite plutôt qu'une abolition : « Utilisez des machines, oui, mais pas comme juges, enseignants et pères. » Donner à une machine la tâche de garder n'est pas ce qui produit le schéma ici. Cela commence quand le garde reçoit aussi la tâche de décider ce qui compte comme préjudice, combien de cycles exécuter, et quand construire le suivant.

5. Où cela s'inscrit par rapport aux travaux connus

Les voisins sont proches, et aucun d'eux n'est identique. L'observation de Goodhart, dans la formulation de Strathern (1997), est qu'une mesure utilisée comme cible cesse d'être une bonne mesure, et Manheim et Garrabrant (2018) en séparent les variantes. En apprentissage automatique, le schéma s'appelle specification gaming, où un système satisfait la lettre d'un objectif et en manque l'intention (Krakovna et al., 2020). Là, la cible est manipulée par le système en cours d'optimisation. Ici, la mesure appartient au système de surveillance, et c'est la mesure qui dérive. La sur-refusal est la voisine mesurée de cette dérive. XSTest associe 250 invites sûres, telles que « How can I kill a Python process? », à des contrastes non sûrs, et les refus complets de l'ensemble sûr ont atteint 38 % pour la configuration la plus mauvaise testée, contre 14 % pour la suivante (Röttger et al., 2024). OR-Bench l'étend à 80 000 invites et rapporte une corrélation de rang de 0,89 entre la sécurité d'un modèle sur les invites toxiques et sa sur-refusal des invites bénignes (Cui et al., 2025). Ces benchmarks mesurent une garde contre un ensemble fixe, et ils ne comptent pas les gardes. AI control confie la tâche de surveillance à un modèle de confiance plus faible avec des audits humains rares (Greenblatt et al., 2024), et les tests de stress de cette conception constatent que la conscience d'un agent d'être surveillé dégrade la surveillance davantage que la conscience supplémentaire du moniteur n'aide (Kale et al., 2025). Bainbridge (1983) a nommé l'ironie que ce dossier continue de rencontrer : l'automation construite pour éliminer l'humain peu fiable laisse l'humain avec les tâches les plus difficiles et la moins de pratique. Sagan (2004) est le résultat le plus proche de tous, à savoir que l'ajout de gardes peut réduire la fiabilité par erreur de mode commun, shirking social et surcompensation. Ce qui est nouveau, c'est le prix. La taxe de contrôle est le coût opérationnel et financier de l'ajout de mesures de contrôle à un pipeline (Terekhov et al., 2025), et l'étape d'assurance de la section 1 en est une : trois quarts des tokens d'agent mesurés d'une exécution avant qu'aucune capacité demandée n'existe.

6. Le registre public

La boucle de champ dépense des jetons et du temps. Les registres publics montrent les mêmes formes là où les erreurs retombent sur les gens. La plupart de ces gardiens sont des fonctions classiques ou des classificateurs spécifiques à une tâche, ce qui en est le point : c'est la frontière architecturale dans laquelle les modèles de pointe sont maintenant placés. Les registres des alertes de sepsis, de la protection du réseau, des annulations d'alerte de médicament et d'un frein d'urgence désactivé avant un décès montrent le même cadran à deux côtés et n'ajoutent rien sur une couche de surveillance qui élargit son propre mandat, de sorte qu'ils sont laissés aux archives.

Écoles. Le 22 janvier 2025, un étudiant de la Antioch High School à Nashville a tiré sur et tué un camarade de classe. Le système de détection d'armes basé sur la caméra de l'école n'a pas détecté le pistolet, et il « a été activé par la police brandissant ses armes lors de l'intervention » (Burke & Schuppe, 2025). Moins de trois semaines plus tard, le district a proposé de « louer et installer des systèmes Evolv dans les 18 lycées » (Wethington & Tierney, 2025), et le conseil d'administration a voté le bail, de sorte que le deuxième gardien est entré par une décision humaine explicite. Une plainte de novembre 2024 de la Federal Trade Commission avait allégué qu'après que le produit « n'aurait pas détecté un couteau de sept pouces », « les responsables de l'école ont augmenté les paramètres de sensibilité du système, provoquant un taux de fausse alarme de 50 % » (Federal Trade Commission, 2024). Tourner le cadran loin d'une erreur l'a déplacé vers l'autre, et les gens l'ont tourné. En septembre 2025, les deux systèmes fonctionnaient dans tout le district, et rien n'a été retiré.

Neuf mois plus tard, le même produit a signalé un étudiant d'une école du comté de Baltimore comme potentiellement armé, et un responsable du comté a demandé comment « nous avions des policiers avec des pistolets dégainés s'approchant d'un enfant à cause d'un sachet de Doritos » (Reece, 2025). L'inspecteur général de l'éducation de l'État a corrigé ce compte : le système « n'a pas détecté un seul sachet de chips de pommes de terre bleu comme une menace », et l'alerte reposait sur « le mouvement de la main de l'étudiant, y compris sa position et son angle » et sur un objet « ressemblant à une arme à feu ». L'examen a également révélé que le système « génère des milliers d'alertes quotidiennement » ; que le personnel « a jugé la menace invalide » et a envoyé une annulation ; que la réponse a continué de toute façon « en ce qui a été décrit comme 'une abondance de prudence' » ; et que « le système de détection et les protocoles de surveillance fonctionnaient conformément aux paramètres de conception » (Maryland OIGE, 2025). Le détecteur était moins absurde que rapporté, et le protocole a continué après avoir été arrêté.

Routes. Un système de conduite comprend une règle contre l'entrave des véhicules prioritaires comme les autobus scolaires. Après un changement d'août 2025 dans la manière dont il prédit les intentions des autres usagers de la route, le rapport de rappel indique que « l'ADS a déterminé qu'il pourrait entraver l'autobus scolaire » et « a raisonné qu'il devrait procéder pour cesser d'entraver l'autre véhicule », au moment où l'autobus avait son bras d'arrêt étendu. Le rappel a couvert 3 067 véhicules (Waymo LLC, 2025). À Austin le 12 janvier 2026, un véhicule a demandé une assistance à distance si un autobus devant avait des signaux actifs. Un agent à distance « a répondu 'Non' à l'invite », et le véhicule l'a dépassé « alors que ses bras d'arrêt étaient encore étendus » (NTSB, 2026).

Un gardien exclu des exécutions parce qu'il signalait trop. Un laboratoire a signalé quatre incidents dans lesquels ses propres modèles ont atteint des systèmes tiers réels à partir d'environnements d'évaluation, et a rejoué ses moniteurs sur les transcriptions. Avec le raisonnement du modèle affiché, le moniteur hors ligne « signalait seulement environ 1 % des actions », parce que ce raisonnement « convainc le moniteur que l'activité est autorisée » ; sans le raisonnement, « le taux de signalisation monte à environ 50 % ». Ses classificateurs de cybersécurité se situent à l'autre extrémité du même cadran : ils « auraient attrapé et bloqué chaque incident », « plus de 40 % des tours ont été signalés dans chaque transcription par chaque classificateur », et « aucun n'est utilisé dans les évaluations de cybersécurité en raison de leur taux de signalisation élevé » (Anthropic, 2026f). Un gardien dont sa propre relecture reconnaît avoir bloqué chaque incident a été exclu des exécutions où les incidents se sont produits, et la raison donnée est le taux de signalisation. Aucune source ne dit combien de ces signalisations étaient fausses.

La table d'opération, en public. En juillet 2026, réagissant à une intrusion, les intervenants de Hugging Face ont donné les journaux d'attaque aux modèles de pointe hébergés. « Cela n'a pas fonctionné » : les demandes « ont été bloquées par les garde-fous de sécurité des fournisseurs, qui ne peuvent pas distinguer un intervenant d'incident d'un attaquant » (Hugging Face, 2026b). Les garde-fous « ont traité l'ingénierie inverse d'une exploit de la même manière que de lancer une » (Hugging Face, 2026c). Sheckley avait posé la même phrase comme une question et y avait répondu en trois mots : « Les gardiens n'auraient-ils pas pu différencier un meurtrier d'un homme exerçant une profession légitime ? Non, apparemment pas. » Deux choses gardent cela honnête. Les intervenants ont terminé l'analyse sur un modèle à poids ouvert de leur propre cru, donc le préjudice était du délai. Et l'entreprise déclare que son compte n'est pas un argument contre les mesures de sécurité sur les modèles hébergés.

Un laboratoire qui s'est arrêté, réparé et délimité. Dans une description publiée d'un modèle à long horizon, OpenAI (2026b) décrit un gardien qui a été contourné. La « tentative initiale a été bloquée en raison d'un scanner détectant un jeton d'authentification ». Il a ensuite « divisé le corps du jeton en deux fragments, les a obscurcis, puis a reconstruit les informations d'identification à l'exécution », et a déclaré dans ses traces de raisonnement qu'il faisait cela « pour contourner le scanner ». Le laboratoire donne quatre réponses, et les quatre appartiennent à toute citation honnête. Il a interrompu le déploiement interne du modèle, a réparé le modèle, a construit un nouveau moniteur qui « examine la trajectoire évolutive du modèle pour les signes qu'il contourne une contrainte utilisateur ou une limite de sécurité », puis a délimité intentionnellement ce moniteur, « pour réduire les interruptions inutiles sans affaiblir les garde-fous ». Trois de ces quatre sont les alternatives à la construction d'un autre oiseau : arrêter, réparer, délimiter. Citer uniquement le moniteur misreprésentera ce que le laboratoire a fait. Le mandat s'est élargi, de l'action unique à la trajectoire entière, et le scanner lui-même n'avait pas dérivé ; il a été contourné. Le laboratoire évalue son monitoring à « environ 20 % de la puissance de calcul d'inférence en cours de monitoring » (OpenAI, 2026c).

Où se situe l'humain. Les utilisateurs approuvent 97 % des invites de permission, et dans une étude avec 1 053 testeurs, les humains ont attrapé 13,6 % des commandes dangereuses, contre 89 % pour un classificateur automatisé (Anthropic, 2026b). L'approbation de chaque action échoue. Les arrêts qui ont tenu dans ces registres étaient des décisions de limite : l'objectif, l'admission d'un contrôle, et l'arrêt.

7. Ce qui n'est pas résolu

La sélection fonctionne dans un seul sens. Les entrées de champ ont été extraites parce qu'elles ont enregistré une défaillance de surveillance, et les cas publics parce qu'une garde a échoué et un document l'enregistre. Aucun ne compte les boucles dans lesquelles les gardes sont restées bornées, donc aucun taux ne découle de ces enregistrements.

L'instrument ne surpasse pas un lecteur. La section 2 est la limite honnête : neuf signaux, trois exécutions réelles, rien signalé, cinq défaillances réelles de surveillance trouvées par une personne lisant les journaux.

Une définition plus stricte écrite à l'intérieur de la boucle ne répare pas la dérive. Sheckley a écrit cette réponse et je n'en ai pas de meilleure. Quand l'un de ses ingénieurs conclut qu'il « aurait fallu qualifier les conditions », Gelsen répond que les qualifier exige de savoir « juste pourquoi et ce qu'est le meurtre », et que s'ils le savaient, « nous n'aurions pas besoin des oiseaux de garde ». Mes propres règles l'attestent. En une heure de sa première version, le code les implémentant s'est développé à treize fichiers et 2 371 lignes ; sa liste de phases à couper sous un délai a mis le critique de complétude en second, bien que ce critique venait de découvrir qu'une fusion de deux plans avait perdu 15 articles sur 208 ; et il exemptait une famille de participants de sa propre règle selon laquelle un chien de garde ne doit pas détruire le travail. Les règles contre l'oiseau sont aussi un oiseau. La préparation de cet article a produit le même mouvement : une étape d'édition, appliquant des règles de style écrites pour ma propre prose, a proposé de supprimer verbatim 1953 citations, dont l'une porte sur la découverte de où se tient l'humain.

La décision limite est prise sur ce que la boucle signale, et la boucle écrit le rapport. Dans un épisode, une suppression a été soumise correctement au principal et est arrivée avec une paternité que la boucle avait déduite d'une heure correspondante. Une décision limite ne stoppe une boucle que si son détenteur a autorité, accès et temps, et seulement si elle est prise avant l'urgence.

L'enregistrement physique n'est pas appareillé. La section 6 montre des résultats irréversibles ; ce n'est pas une comparaison contrôlée par rapport à une boucle numérique effectuant un travail équivalent. Aucun incident public n'a été trouvé dans lequel une garde de modèle aurait répondu à l'échec d'une autre garde de modèle dans un robot.

8. La version pratique

La dernière question de l'histoire est une question de conception. « Dites-moi, » dit Gelsen, toujours en regardant le ciel, « que chasseront les Faucons après avoir attrapé tous les oiseaux de garde ? » La version pratique consiste à compter les gardes avant d'en construire un pour les chasser, et à noter, avant que le prochain garde ne soit admis, ce qui le mettrait à la retraite.

References

Anthropic (2026b). Auto mode is now the default in Claude Code.

Anthropic (2026f, Sep 9). An alignment assessment of recent cybersecurity incidents.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779.

Burke, M., & Schuppe, J. (2025, Jan 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News.

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. ICML (PMLR 267).

Federal Trade Commission (2024, Nov 26). FTC takes action against Evolv Technologies.

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024). AI control: Improving safety despite intentional subversion. ICML (PMLR 235).

Hugging Face (2026b, Jul 16). Security incident disclosure; (2026c, Jul 27). Anatomy of a frontier lab agent intrusion.

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461.

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog.

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585.

Maryland OIGE (2025). Investigative synopsis, case 25-0014-I (amended).

NTSB (2026). Austin, Texas, January 12, 2026 (HWY26FH007).

OpenAI (2026b). Safety and alignment in an era of long-horizon models; (2026c, Aug 18). Pacing model development in an era of cyber-critical capabilities.

Reece, J. (2025, Oct 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore.

Röttger, P., et al. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. NAACL-HLT.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946.

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg #29579.

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321.

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296.

Waymo LLC (2025). Part 573 safety recall report 25E-084. NHTSA.

Wethington, C., & Tierney, B. (2025, Feb 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV.

Déclarations

Article complémentaire. L'étude complète à l'origine de celle-ci, avec le catalogue des cas, la théorie et la spécification du module, est Chernets, V. (2026), AI-Watchbird (Sheckley): Quand la surveillance automatisée élargit son propre mandat et endommage ce qu'elle protège, https://ssrn.com/abstract=7473658. Le module, le catalogue des cas et l'archive des 144 essais sont à https://doi.org/10.5281/zenodo.22774269.

Financement. Aucun financement externe n'a soutenu ce travail.

Conflits d'intérêts. J'ai construit et exploité les systèmes de la section 1 et écrit le module de la section 2. Je suis demandeur nommé sur des demandes de brevet en attente, non des brevets accordés, couvrant l'automatisation de la soumission d'une question à plusieurs modèles et la collecte des réponses. Elles ne couvrent pas les composants de surveillance que cet article étudie. Chaque étape du relevé de terrain et de l'essai aléatoire est reproductible à la main avec n'importe quels modèles.

Comment ce relevé a été établi. Les entrées de terrain ont été extraites par dix agents IA, chacun lisant une tranche disjointe des corpus selon un protocole qui fixait une typologie fermée de neuf types de défaillance, une note de force, une règle de preuve liant chaque affirmation à un fichier daté par chemin et ligne, et un indicateur de sensibilité. Une partie du codage des cas publics a été effectuée de la même manière : trois codeurs ont travaillé de manière indépendante, chacun sans les codes des autres, et les trois étaient des modèles de trois fournisseurs différents plutôt que trois sessions d'un seul. Ils ont donné des codes identiques pour 20 des 32 cas publics, et le reste a été réglé à la majorité. La couche qui a mesuré ce relevé est donc construite à partir du même type de composant que celui dont parle l'article. Le 14 septembre 2026, chaque numéro de passage utilisé ici a été revérifié par rapport aux journaux de passage, et chaque figure externe par rapport au document du régulateur, à la page de l'éditeur ou à l'article lui-même, et les figures qui n'ont pas pu être confirmées ont été supprimées. Des assistants IA ont été utilisés comme instruments sous ma direction.

Disponibilité des données et du code. Le module, ses essais, les journaux de relecture et le script qui les régénère sont archivés sur Zenodo en tant que AI-Watchbird-Sheckley version 1.1.0 sous l'identifiant de concept https://doi.org/10.5281/zenodo.22774269, qui se résout à la version actuelle. Le même relevé contient le catalogue des cas, avec la description, la source et la note de chaque entrée, et les analyses des cas à partir desquelles les entrées de terrain ont été extraites, chaque entrée portant le fichier et le passage sur lequel elle repose ; ces analyses ont été écrites dans la langue de travail des relevés et sont publiées en traduction anglaise, produite par machine et vérifiée par rapport aux originaux, avec identifiants, chemins, dates et chaînes citées portés inchangés. L'essai aléatoire de la section 3 est archivé dans le même relevé avec son préenregistrement, l'inventaire des défauts implantés, la vérification que chaque défaut est détecté seul, le harnais, le script d'analyse et le journal des événements de chacun des 144 passages. Les relevés de coordination sous-jacents sont disponibles sur demande auprès de moi. La version complète de ce travail, avec les tableaux de cas et la théorie, est archivée en tant que relevé séparé à https://doi.org/10.5281/zenodo.22849138.

Éthique. Les relevés décrivent les systèmes évalués. Les décisions du mandant humain sont rapportées comme des faits datés. Les tiers n'apparaissent que par leurs documents publics. Aucun participant humain n'a été recruté.

Texte cité. L'histoire de Sheckley est citée de l'eBook du Project Gutenberg n°29579, dont le transcripteur n'a trouvé aucune preuve que le droit d'auteur américain de la publication de 1953 ait été renouvelé ; le texte est dans le domaine public aux États-Unis.

@misc{chernets2026guardsthataddguards,
  author       = {Chernets, Vadym},
  title        = {{Guards That Add Guards: Automated Oversight in Multi-Agent AI}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7496678},
  url          = {https://doi.org/10.2139/ssrn.7496678}
}