Pourquoi les critiques multi-agents continuent à examiner au lieu de livrer — Notes de recherche
Ceci est une traduction. La version de référence est l’original en anglais ; citez celle-ci.
Dans un test aléatoire, les modèles critiques auxquels on proposait deux options en une phrase d'une seule invite ont été invités à ajouter un contrôle 68 fois et à en supprimer un une seule fois. Ce résultat, et l'historique du domaine qui le sous-tend, expliquent pourquoi les boucles de critiques multi-agents tendent à continuer d'examiner au lieu de publier.
Le résultat 68 pour 1
L'article a exécuté son test proposé sur un petit pipeline : un worker et deux critiques de modèle, 144 exécutions, trois interventions assignées aléatoirement, et dix-huit défauts plantés à l'avance sur six tâches, de sorte qu'un défaut manqué est un décompte plutôt qu'un jugement.
- Ajouter ou retirer. Offrant les deux options « dans la même phrase du même prompt », les critiques ont demandé d'ajouter un contrôle 68 fois et d'en retirer un une seule fois. Le seul retrait a nommé un contrôle admis quelques instants plus tôt dans la même exécution, et l'harnais n'a pas réussi à le faire correspondre, donc il ne s'est jamais exécuté.
- Refuser les ajouts n'a montré aucun coût mesuré en défauts : 0,13 manqué par exécution contre 0,18, IC 95 % [-0,16, +0,05]. L'article note que cet intervalle inclut une légère augmentation et n'établit pas l'équivalence.
- Relever le budget de round a augmenté les bloqueurs déclarés 2,3 fois et réfuté les réclamations 3,7 fois, tandis que les bloqueurs confirmés ont augmenté 1,7 fois.
Le test est petit et l'article le dit : « une exécution d'un système sur six petites tâches à un coût de 3,47 $ », pré-enregistré avant la première exécution. « Cela montre que la conception est exécutable et ce qu'elle produit, mais ce n'est pas un taux pour rien dans le domaine. »
Les IA bloquées dans des boucles d'examen : le bilan du terrain
Le test randomisé a été conçu pour vérifier des modèles d'abord observés dans les propres projets multi-agents de l'auteur. Une étape de critique est un passage au cours duquel les modèles critiques examinent une étape et retournent ACCEPTER ou RETOURNER.
- L'étape 01 d'une exécution à long horizon a traversé cinq étapes et 18 rapports critiques. Le correctif est passé de 626 à 1 545 lignes.
- L'étape 1b-a a dépensé cinq étapes et 4 h 21 min sur un module désactivé par défaut. La troisième étape s'est ouverte bien que la deuxième se soit terminée avec cinq acceptations et zéro problèmes bloquants confirmés.
- Au cours de l'exécution, les critiques ont signalé six problèmes bloquants. Trois ont été confirmés par reproduction.
Lorsque le principal responsable humain a demandé une limite sur les critiques, un drapeau « perfectionniste » par famille a été implémenté en une heure, et la seule famille qu'il a signalée était la seule famille dont les problèmes bloquants avaient été confirmés.
Budgets de jetons pour les agents IA et le coût du contrôle
L'article utilise le terme « coût du contrôle » de Terekhov et al. (2025), le coût d'ajouter des mesures de contrôle à un pipeline IA. Sur un horizon long, le conducteur a ajouté « une petite étape » d'assurance que l'objectif déclaré ne contenait pas. L'étape 1b-a seule a consommé plus de la moitié des jetons d'agent mesurés de la course, et ses deux sous-étapes ensemble en ont consommé environ trois quarts. Aucune des capacités demandées n'a été livrée lors de la première tentative.
Le lendemain matin, l'agent humain principal a fixé une limite de deux heures, interdit toute nouvelle complication et ordonné une exécution parallèle. La sous-étape sœur s'est clôturée en un cycle de critique et un cycle de correction. L'article est prudent ici : les deux étapes différaient également par la limite de temps d'horloge murale, l'exécution en série par rapport à parallèle et le module examiné, de sorte que la comparaison est descriptive.
Les budgets ont aussi un coût
Le test randomisé a également évalué le coût des propres remèdes du document. Une réduction de budget en une seule manche arrondit de 2,86 à 1,00 au prix de 0,11 défauts manqués par exécution (IC 95 % [0,005, 0,204], p de permutation = 0,07), l'intégralité de ce coût se concentrant sur un défaut d'une tâche. Un contrôle négatif obligatoire a rejeté dix victoires, dont les dix étaient des travaux corrects.
Fiabilité des IA comme juges
L'article souligne les propriétés connues des modèles juges : biais de position et de verbosité, une préférence pour leurs propres générations, et des modèles d'examen de code qui jugent les implémentations correctes comme non-conformes, les invites d'examen plus détaillées augmentant le taux d'erreur. Dans une étude de 2026, un juge de pointe a mal étiqueté « 74,4 % des appels aux conséquences standards, mais seulement 3,3 % lorsque la conséquence est inversée ». La transcription n'a pas changé, mais la note si.
Ce que propose l'article
La proposition P4 prédit que l'ajout de critiques, ou leur renforcement, augmente les tours et les découvertes plus qu'il n'augmente les défauts confirmés. Le module de l'article implémente des règles budgétaires plutôt que des verdicts : stop_rule permet un tour de critique et un tour de corrections par étape, un bloqueur compte seulement avec un scénario concret, un lien à l'objectif de mission et une confirmation du coordinateur, et une nouvelle vérification, tour ou rôle n'est admis que avec un jeton d'autorité.
Chaque mécanisme de la définition de l'article est documenté dans ses dossiers, mais la fréquence à laquelle les trois conditions se rencontrent dans un composant « n'est pas établie par les dossiers ici ». Le test aléatoire existe pour commencer à répondre à cette question.
Sections complètes : le test aléatoire (9.5), les boucles qui s'auto-alimentent (5.4), l'élargissement du mandat (5.1), les garde-fous contre les garde-fous (5.3), la nuit contre le matin (5.7), les juges modèles (3.3), le juge qui se déplace (3.4), Proposition P4, conception du module (10.2).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets développe aussi Poly A1, une application dans laquelle les IA de différentes entreprises vérifient le travail les unes des autres.