Un détecteur d'armes, deux types d'erreur — Notes de recherche
Ceci est une traduction. La version de référence est l’original en anglais ; citez celle-ci.
En l'espace d'un an, un produit de détection d'armes basé sur des caméras a manqué un pistolet lors d'une fusillade dans une école et a signalé un étudiant désarmé dans un autre district, et la police armée a répondu. L'article utilise les deux cas pour montrer un système qui se trompe dans les deux sens.
L'échec : Nashville, janvier 2025
Le 22 janvier 2025, un étudiant du lycée Antioch à Nashville a tiré et tué un camarade de classe. Le système de détection d'armes basé sur les caméras de l'école, Omnilert, n'a pas détecté le revolver. Le district a attribué cela à l'emplacement des caméras, et le système « a été activé par la police brandissant ses armes lors de l'intervention ».
Moins de trois semaines plus tard, le district a proposé de « louer et installer des systèmes Evolv dans les 18 lycées », une deuxième garde composée de scanner. Le conseil d'éducation a voté sur cette location, donc la deuxième garde est entrée par une décision humaine explicite. L'article la place à l'étape 8 de son cliquet (une limite externe) plutôt que de la compter comme une garde ajoutée à l'intérieur de la boucle.
Ce que ces scanners avaient fait ailleurs était déjà public. Dans une plainte de novembre 2024 concernant une autre école, la Commission fédérale du commerce a allégué que le même produit « aurait échoué à détecter un couteau de sept pouces », et qu'ensuite « les responsables de l'école ont augmenté les paramètres de sensibilité du système, provoquant un taux de faux positif de 50 %. » Selon les termes de l'article, tourner le cadran loin d'une erreur l'a déplacé vers l'autre, et les gens l'ont tourné.
En septembre 2025, les scanners ont été installés dans tous les lycées du district, et le système basé sur les caméras était toujours installé sur tous ses campus. Rien n'a été retiré.
La fausse alerte : Baltimore County, neuf mois plus tard
Neuf mois après la fusillade, Omnilert a signalé un étudiant d'une école du comté de Baltimore comme potentiellement armé. Un officiel du comté a demandé comment « nous avions des policiers avec des armes dégainées qui s'approchaient d'un enfant à cause d'un sachet de Doritos ».
L'Inspecteur général du Maryland pour l'Éducation a corrigé ce récit. Le système « n'a pas détecté un seul sachet de chips bleu comme une menace » ; l'alerte reposait sur « le mouvement de la main de l'étudiant, y compris sa position et son angle » et un objet à cet angle « ressemblant à une arme à feu ». L'examen a également révélé que :
- le système « génère des milliers d'alertes quotidiennement », dont environ deux cents atteignent le personnel du fournisseur et environ douze par jour atteignent le système scolaire ;
- quinze personnes ont reçu la notification du 20 octobre ;
- le personnel de l'école et de la police « a immédiatement examiné les informations et a jugé la menace invalide » et a envoyé une annulation, pourtant le protocole d'alerte a continué « selon ce qui a été décrit comme 'une abondance de prudence' » ;
- « le système de détection et les protocoles de surveillance ont fonctionné selon les paramètres conçus ».
L'examen n'a pas pu vérifier que la formation du personnel avait eu lieu, faute de registres de présence, et a recommandé d'examiner combien de personnes reçoivent chaque alerte.
Deux registres distincts, non une seule cause
L'article est explicite : les registres de Nashville et du comté de Baltimore sont distincts, les scanners ont été ajoutés à Nashville uniquement, et aucune cause commune aux deux erreurs n'est avancée. Ce qui les relie, c'est le produit et le motif.
Erreur bilatérale, selon les termes du document
La proposition P1 énonce que les gardiens qui jugent les artefacts plutôt que les résultats produisent des faux rejets et des fausses acceptations dans la même période. Le document lit cinq de ses propositions dans ces écoles :
- un produit a commis une erreur dans les deux directions (P1) ;
- l'omission a été traitée par un deuxième gardien, qu'un conseil a voté de prendre en location (P3 en forme, étape 8 en autorité) ;
- l'escalade a continué après une annulation (P4) ;
- le système a fonctionné dans ses paramètres tandis qu'un étudiant désarmé faisait face à des armes dégainées (P5, une victoire contrefaite) ;
- n'importe lequel des quinze destinataires pouvait relancer la réponse (P6, où se situe l'humain).
La proposition P1 cite également un dossier hospitalier d'erreur bilatérale : un modèle de septicémie qui a omis 67 % des cas de septicémie dans la même cohorte sur laquelle il a déclenché une alerte pour 18 % de tous les patients.
Supervision physique des IA sans modèle de pointe
Aucun de ces garde-fous n'est un grand modèle de langage, et l'article le précise. L'erreur bidirectionnelle « n'a pas besoin d'un modèle ». Le point est architectural : la préoccupation de l'article est que les modèles de pointe sont désormais placés dans des piles de la même forme, et que les modèles ajoutent des définitions qui changent et des contrôles qui ne coûtent rien à ajouter.
Ces cas documentent des parties de la définition de l'article plutôt que l'ensemble. Chaque mécanisme est documenté quelque part dans les records de l'article, mais la fréquence à laquelle les trois conditions se rencontrent dans un seul composant « n'est pas établie par les records ici ».
Sections complètes : écoles, hôpitaux, réseaux et mines (6.4), Propositions P1 à P6, pourquoi un corps change la question (6.1).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets développe également Poly A1, une application dans laquelle les IA de différentes entreprises vérifient le travail les unes des autres.