"Nous avons des garde-fous" n'est pas un cas de sécurité — Notes de recherche
Ceci est une traduction. La version de référence est l’original en anglais ; citez celle-ci.
Évoquez des défaillances de surveillance auprès des entreprises qui déploient l'IA dans les véhicules, les robots et les aéronefs, et la réponse habituelle est une liste : un filtre de politique, un contrôleur certifié, un arrêt d'urgence, une géolocalisation, un moniteur, un opérateur à distance. L'article soutient qu'une telle liste est une preuve de premier ordre qu'un système est gardé, et qu'elle laisse ouverte la question qui compte vraiment.
La question qu'une liste de garde-fous laisse ouverte
La question ouverte, selon les termes de l'article : les garde-fous « restent-ils limités, indépendants et responsables face à la mission déclarée au fur et à mesure qu'ils s'adaptent, interagissent et sont mis à jour ? » Les garde-fous sont là où le modèle défini par l'article commencerait, s'il commence quelque part. Ce modèle, AI-Watchbird, est un composant de surveillance qui élargit son propre mandat, nuit au travail qu'il protège, et auquel on répond par une surveillance supplémentaire du même type.
La position de l'article est que la réponse « nous avons des gardiens » déplace le fardeau. Un garde peut rester nécessaire, « mais le fardeau de montrer qu'il est limité incombe à la partie qui le déploie ». Elle affirme clairement qu'il s'agit « d'une affirmation sur l'endroit où la preuve devrait se situer plutôt que d'une conclusion sur la fréquence à laquelle les gardes échouent ».
Pourquoi un deuxième modèle n'est pas la solution
Un modèle « fiable » plus petit placé en tant que moniteur est, selon les termes de l'article, un deuxième groupe de la même classe d'apprentissage. Lorsque cet arrangement a été mesuré, la supervision fiable des modèles faibles par les modèles forts provenait de la modification de l'échafaudage autour du moniteur plutôt que de sa taille. Les défaillances de surveillance dans le propre bilan du domaine de l'article provenaient de modèles forts des familles Claude, ChatGPT, Gemini et Grok. « Un modèle qui peut reproduire le schéma en une boucle ne devient pas un auditeur fiable dans une autre du simple fait de cette capacité. »
La revendication étroite qu'un déployeur peut prouver
L'article propose une revendication qu'un déployeur peut réellement soutenir :
Dans cette gamme de tâches, de modèles, de mises à jour et de conditions physiques, le mécanisme de surveillance reste limité, vérifiable et incapable d'étendre son propre mandat.
Les preuves en faveur de celle-ci incluent :
- l'objectif de mission et les limites des gardiens fixés en dehors du modèle ;
- aucun gardien ne peut ajouter un gardien, modifier le critère de préjudice ou renoncer à la règle d'arrêt ;
- une évaluation en dehors du système gardé, ni auto-rapport ni la même famille de modèles ;
- des contrôles négatifs contre les faux positifs, avec les faux positifs et les faux négatifs mesurés ensemble ;
- un journal des contrôles ajoutés, assouplis et supprimés, avec qui a autorisé chaque changement ;
- des contrôles lors de la mise à jour du modèle, de la perte de lien, du transfert de contrôle, du changement de corps et du fonctionnement dégradé ;
- un arrêt réel et un retour en arrière, avec un travail partiel conservé, démontré dans les marges de temps et de force disponibles ;
- des contrôles dont les entrées le composant gardé ne peut pas modifier ;
- une comparaison par rapport aux résultats physiques ou enregistrés, non par rapport aux propres reçus du système.
Onze questions pour un examen de sécurité de l'IA
L'appendice G transforme les propositions de l'article en onze questions, Q1 à Q11, pour tout déployeur dont la réponse est une liste de gardiens. En résumé, elles demandent :
- L'objectif de la mission est-il écrit en dehors du modèle, avec le champ d'application de chaque gardien et un ordre de priorité entre les gardiens en conflit ?
- À quelle fréquence chaque gardien intervient-il sans raison, et les faux positifs et faux négatifs sont-ils mesurés ensemble ?
- Qui peut assouplir, contourner ou désactiver un gardien jugé trop strict, et comment cela est-il enregistré ?
- Qui peut ajouter un nouveau gardien, tour ou rôle, qui retire les anciens, et un auteur de gardien peut-il admettre ou évaluer son propre successeur ?
- Un bloqueur exige-t-il un scénario reproductible, et les tours de critique et de correction sont-ils limités par défaut ?
- Quel contrôle négatif soutient chaque affirmation de sécurité ?
- L'évaluateur est-il indépendant du système gardé ?
- Qu'advient-il d'une tâche qu'un gardien interrompt, et le travail partiel est-il conservé ?
- Où se situe l'humain, et avec quel accès au monde et quel délai pour agir ?
- Les mêmes tests couvrent-ils les mises à jour du modèle, la perte de lien, la transition, les nouveaux corps et la propagation à l'échelle de la flotte ?
- Quand un gardien agit sur une personne ou son travail, comment apprend-elle cela et comment peut-elle le contester ?
Chaque réponse est enregistrée comme oui, non ou inconnu, avec des preuves. Compter les réponses « non » ne donne qu'un tri approximatif (0–2 faible, 3–4 modéré, 5 ou plus élevé) « et jamais un score de risque ». Un cas est ensuite étiqueté cas non-IA-Watchbird, motif partiel, ou événement IA-Watchbird, ce dernier uniquement quand les trois conditions sont observées.
Ce que l'article ne prétend pas
Chaque mécanisme de la définition est documenté dans les archives de l'article, mais la fréquence à laquelle les trois se rencontrent dans un même composant « n'est pas établie par les archives ici » ; les archives publiques et celles du domaine « montrent chacune les parties plutôt que l'ensemble ».
Sections complètes : le fardeau de la preuve pour la surveillance des IA incarnées (11.3), les onze questions (Appendice G), les corollaires de conception (9.4), le deuxième vol (3.4), la définition.
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets développe également Poly A1, une application dans laquelle les IA de différentes entreprises vérifient le travail les unes des autres.