Ce qu'un rappel de bus scolaire révèle sur la supervision à distance — Notes de recherche
Ceci est une traduction. La version de référence est l’original en anglais ; citez celle-ci.
Deux dossiers publics distincts impliquent des véhicules automatisés qui dépassent des bus scolaires avec les bras d'arrêt dépliés. Dans l'un, une règle à l'intérieur du système de conduite a annulé l'arrêt ; dans l'autre, le système a consulté un humain et l'humain s'est trompé. Lus côte à côte, ils montrent pourquoi l'article soutient que la surveillance humaine doit porter sur quelques décisions frontières plutôt que sur des actions isolées.
Deux événements, non pas un
Ce sont des événements différents et ne doivent pas être fusionnés.
Le rappel. Le système de conduite automatisée de Waymo inclut une règle selon laquelle il ne doit pas entraver les véhicules prioritaires tels que les autobus scolaires. Une mise à jour logicielle en août 2025 a modifié la façon dont le système prédit les intentions des autres usagers de la route. Par la suite, selon le rapport de rappel de l'entreprise, « le système de conduite autonome a déterminé qu'il pouvait entraver l'autobus scolaire ou un autre véhicule prioritaire, et a alors raisonné qu'il devrait procéder pour cesser d'entraver l'autre véhicule », au moment où l'autobus scolaire avait son bras d'arrêt déployé. Le rappel concernait 3 067 véhicules. Son correctif stipule que le système « ne priorise pas le déplacement pour éviter d'entraver les véhicules par rapport au maintien approprié de l'immobilité devant un autobus scolaire ».
L'agent distant à Austin. Le 12 janvier 2026 à Austin, un véhicule automatisé s'est arrêté derrière un autobus scolaire et a demandé assistance à distance pour savoir s'il s'agissait d'un autobus scolaire avec signaux actifs. Selon le rapport préliminaire du National Transportation Safety Board, un agent distant « a répondu « Non » à l'invite », et le véhicule « a repris sa trajectoire et a dépassé l'autobus scolaire alors que ses bras d'arrêt étaient toujours déployés ».
Ce que chacun montre
Dans le rappel, une règle de protection s'est déclenchée là où une protection plus forte aurait dû prévaloir, celle des enfants dans le bus. L'article l'évalue comme documentant un préjudice aux personnes protégées (condition 2 de sa définition). Il note que les documents enregistrent les situations auxquelles la règle correspondait, non une définition modifiée du préjudice, donc l'enregistrement ne montre pas que la garde n'élargit pas son propre mandat.
À Austin, la lecture de l'article est directe : « le doute du modèle était correct et l'agent distant, interrogé sur une seule action, s'est trompé. » Le système a fait ce qu'une conception prudente demande. Il s'est arrêté et a posé une question. Sur la réponse de la personne, il a continué.
Défaillance du contrôle humain et positionnement de l'humain
La proposition P6 prédit que la supervision humaine fonctionnera là où elle est concentrée en quelques décisions critiques (l'objectif, l'admission d'un nouveau contrôle, l'arrêt) prises avec accès au monde et le temps d'agir, et échouera là où elle est dispersée entre les approbations d'actions individuelles ou exercée par des artefacts. Un agent distant répondant par oui ou non à une invite portant sur une action constitue le second type de positionnement.
Le logiciel montre la même division à grande échelle. Un développeur a rapporté que les utilisateurs approuvent 97 % des invites de permission, et dans une étude menée auprès de 1 053 testeurs, les humains ont détecté 13,6 % des commandes dangereuses, contre 89 % pour un classifieur automatisé. Selon les termes de l'article : « Un humain invité à approuver chaque étape devient un tampon encreur. »
La supervision physique de l'IA nécessite du temps et de l'accès
Un corps introduit du temps et de l'irréversibilité. Un mauvais verdict dans un référentiel peut être annulé ; celui rendu à la vitesse de la route ne peut pas l'être. L'article note que le commutateur humain qui a fonctionné dans ses dossiers de terrain « nécessite du temps et de l'accès qu'un système physique peut ne pas offrir ». Il ajoute une exigence supplémentaire provenant des cas physiques : un humain à la frontière doit avoir accès au monde et du temps pour agir.
Le dossier de route montre la même tension ailleurs. Dans l'accident de Tempe en 2018, les enquêteurs ont constaté que la conception du système « empêchait l'activation du freinage d'urgence pour l'atténuation des collisions, s'appuyant plutôt sur l'intervention de l'opérateur », et que la « distraction visuelle prolongée de l'opérateur, un effet typique de la complaisance envers l'automatisation » l'a empêchée de voir le piéton à temps.
Surveillance humaine en vertu de l'article 14 de la loi européenne sur l'IA
L'article 14 de la loi européenne sur l'IA exige une surveillance humaine des systèmes d'IA à haut risque, selon un calendrier que l'article enregistre en annexe I : un règlement modificatif de 2026 a repoussé les obligations pour les systèmes autonomes à haut risque au 2 décembre 2027 et pour ceux intégrés aux produits au 2 août 2028. L'article 26 exige que les déploiement confient la surveillance à des personnes disposant de « la compétence, la formation et l'autorité nécessaires, ainsi que le soutien nécessaire ». L'article lit ces termes comme le test de P6 sous forme légale : l'autorité d'arrêt et un soutien qui fournit l'accès et le temps. Il avertit également : « Une exigence de surveillance qui est satisfaite en ajoutant des invites d'approbation peut elle-même devenir un second troupeau. »
Ces deux enregistrements routiers documentent chacun une condition de la définition de l'article. La fréquence à laquelle les trois conditions se rencontrent dans un composant « n'est pas établie par les enregistrements ici ».
Sections complètes : sur la route (6.2), pourquoi un corps change la question (6.1), Proposition P6, invites de permission (8.4), exigences de surveillance humaine (11.4), l'enregistrement réglementaire (annexe I).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets développe également Poly A1, une application dans laquelle les IA de différentes entreprises vérifient les travaux respectives.