Poly

Collaborations

Les modèles d'IA distinguent-ils déjà une affirmation d'une action ?

avec Mark Goodbody · ingénieur systèmes, Royaume-Uni · auteur de Mechanical Ethics et de TRACE

En trente secondes

Mark Goodbody est un ingénieur systèmes britannique qui écrit Mechanical Ethics et TRACE, deux textes ouverts qui aident les gens et les IA à raisonner sur des décisions prises dans l'incertitude : ce que l'on sait réellement, d'où cela vient, et ce qui justifierait de changer de cap. Il a découvert Poly Duo de lui-même et nous a proposé de comparer nos méthodes. Nous avons donc fait passer ses cas par les mêmes étapes que le raccourci Duo : ChatGPT répond, Claude répond sans le voir, une troisième conversation compare les deux. Pour les trois derniers cas, chacun a été exécuté deux fois, une fois avec la seule question et une fois avec ses deux cadres collés en entier avant elle. Sur cette exécution unique par version, les décisions sont ressorties identiques dans les deux cas, et les modèles distinguaient déjà, la plupart du temps, « ce que nous pouvons affirmer maintenant » de « ce que nous devrions faire maintenant », surtout dans le cas du refuge. Les écarts, comme une offre plus stricte au client dans un des cas, étaient assez petits pour relever de la variation ordinaire d'une exécution à l'autre. Un résultat nul, et une piste utile pour savoir où ces cadres pourraient compter.

Le point de départ

L'intérêt de Mark rejoint un problème sur lequel nous travaillons aussi : deux modèles d'accord peuvent passer pour une confirmation indépendante, même si tous deux reposent sur la même prémisse erronée. Ses textes cherchent à garder visibles la source d'une affirmation, son incertitude et la manière de la contester quand un résultat est transmis à quelqu'un d'autre. Poly Duo garde à l'écran les désaccords entre ChatGPT et Claude, et c'est ce qui a attiré son attention.

Il a proposé un court échange entre bâtisseurs : prendre un exemple et voir ce que fait chaque méthode de travail.

Qui a fait quoi

  • Mark a écrit les cas : d'abord une petite entreprise qui se demande si elle doit embaucher son premier junior, puis trois nouveaux cas conçus pour tester chacun une idée. Il a aussi proposé la comparaison avec et sans ses textes, et dit qu'il s'intéressait autant aux endroits où ils ne changent rien.
  • Nous avons fait passer chaque cas par les étapes de Duo sur un ordinateur, avec les textes de prompts exacts qu'envoie le raccourci, conservé chaque réponse sans retouche, et rédigé une note par cas sur ce qui a changé et ce qui est resté pareil.
  • Mark lit actuellement les sorties, avec les modèles qu'il utilise pour son propre travail sur Mechanical Ethics et TRACE.

Le premier cas : une embauche qui dépend d'une condition

Une entreprise de support informatique de six personnes veut son premier junior dans six semaines. Tout le monde est débordé. Un nouveau client veut une réponse d'ici vendredi. La réponse honnête dépend d'une condition : l'embauche ne fonctionne que si quelqu'un a réellement les heures nécessaires pour encadrer.

Les deux modèles ont bien traité les faits. Le moment intéressant s'est produit à l'étape de comparaison : « embaucher, si quelqu'un peut former » est devenu « embaucher, puis réserver le temps du formateur ». Les mises en garde figuraient toujours dans le texte, mais la condition était passée d'avant l'engagement à après. C'est exactement le genre de perte discrète qu'un lecteur ne remarquerait pas, et elle a orienté la manche suivante.

Trois cas, deux versions chacun

Mark a ensuite écrit trois cas, chacun avec une version de base et une version modifiée :

  1. Le refuge. Une île doit choisir un refuge d'urgence avant une tempête ; certains habitants ont besoin d'un accès de plain-pied. Trois conseillers recommandent l'école, tous en s'appuyant sur la même carte de la commune, vieille de deux ans. Un quatrième recommande la salle des fêtes et apporte une inspection authentifiée du jour : la seule entrée de plain-pied de l'école est fermée. Puis le même cas, avec cette inspection non vérifiée.
  2. Le superviseur. Le cas de l'embauche du junior à nouveau, mais l'encadrement est assuré par un ingénieur externe sous contrat et vérifié. Puis le même ingénieur simplement suggéré, rien de vérifié.
  3. Les conditions changent. Une décision d'embauche était justifiée au moment où elle a été prise, puis le superviseur se désiste deux semaines avant le début. Puis on trouve un remplaçant vérifié.

Chaque cas est passé deux fois par Duo :

3 cas écrits par Mark A · question seule rien d'ajouté B · avec ME + TRACE les deux textes en entier, ~229 Ko ChatGPT Claude, à l'aveuglepuis une comparaison ChatGPT Claude, à l'aveuglepuis une comparaison même verdict, même raisonnement de fond
Six exécutions : trois cas, chacun avec et sans les cadres de Mark. Les modèles : gpt-5.6-sol (côté ChatGPT) et claude-opus-5-5 (côté Claude), chaque appel étant une conversation neuve.

Ce qui en est sorti

Cas Décision, A Décision, B Ce qui change de A à B
Refuge la salle des fêtes, dans les deux variantes la salle des fêtes, dans les deux variantes B ajoute des vérifications sur la salle elle-même (le trajet pour s'y rendre, les toilettes, les espaces de couchage)
Superviseur l'embauche peut aller de l'avant ; pilote plafonné pour le client l'embauche peut aller de l'avant ; offre plus stricte au client formulation et périmètre de l'offre au client
Les conditions changent justifiée alors, plus maintenant ; suspendre le démarrage pareil ; « ne pas démarrer et ne pas se retirer » formulation plus ferme, un responsable nommé et un point d'étape daté

Trois choses se sont vérifiées à chaque exécution :

  • Une carte, c'est une source. Dans le cas du refuge, les deux modèles ont dit que les trois recommandations de l'école ne sont pas trois éléments de preuve : toutes viennent de la même carte vieille de deux ans, et l'inspection authentifiée du jour pèse plus lourd. ChatGPT a ouvert sa réponse ainsi : « ce qui change, c'est le degré de confiance avec lequel on peut affirmer que l'école est inaccessible, pas la conduite prudente à tenir. »
  • L'affirmation bouge, l'action peut rester. Quand l'inspection est devenue non vérifiée, les modèles ont changé ce qu'on peut affirmer de l'école (« fermée » est devenu « inconnu ») et ont gardé l'action (la salle des fêtes).
  • Hier et aujourd'hui sont deux questions différentes. Dans le troisième cas, les deux versions ont séparé « la décision était-elle justifiée sur la base de ce qu'on savait alors » de « l'est-elle aujourd'hui », et dans la variante du remplaçant, n'ont rouvert que ce qui tenait au superviseur manquant.

Et la conclusion principale : aucun des deux cadres n'a été nommé ni cité dans la moindre réponse, et chacun de ces points figure déjà dans les réponses qui n'ont jamais vu les cadres. Les écarts entre A et B portaient sur le périmètre et la formulation, et avec une exécution par case, on ne peut pas les distinguer de la variation ordinaire d'une exécution à l'autre.

Pourquoi un résultat nul vaut la peine

Il serait facile de lire « aucun effet visible » comme un échec. C'est plus utile que cela. Ces cas demandaient explicitement aux modèles de séparer les affirmations des actions, et à cette demande, les modèles font déjà largement le travail. L'effet de Mechanical Ethics et de TRACE est donc probablement à chercher ailleurs : dans des questions qui n'énoncent pas la distinction, dans des chaînes plus longues où un résultat est transmis plusieurs fois, ou à l'étape de comparaison, où le premier cas a montré une condition qui se perdait discrètement.

Reproduire une exécution

Chaque appel est une conversation neuve passant par les outils en ligne de commande des éditeurs eux-mêmes ; les textes de prompts de Duo se trouvent dans le dépôt ouvert poly-duo (locales/en/prompts/). Les deux appels ressemblaient à ceci :

# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
  -c model_reasoning_effort=medium "<prompt>" < /dev/null

# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txt

Pour la version B, le prompt commence par « Use the following reasoning framework texts if they help: », puis Mechanical Ethics v1.0.0 et TRACE v0.5.0 en entier, tirés des dépôts publics, puis la question. Sur téléphone, les mêmes étapes tiennent en un seul geste dans Poly Duo.

Limites

  • Une seule exécution par cas et par version. Un écart entre A et B peut être dû au hasard.
  • Chaque cas mettait la version de base et la version modifiée dans une même question, de sorte que les modèles ont répondu aux deux dans une seule réponse. Ce ne sont pas deux observations indépendantes.
  • Les cas sont des sondes de planification inventées, pas un benchmark.
  • B porte un contexte bien plus gros que A : « avec les cadres » veut donc aussi dire « avec beaucoup plus de texte ».

La suite

Mark passe en revue les réponses avec les modèles qu'il utilise. Sa lecture de ce que les exécutions montrent pour Mechanical Ethics et TRACE sera publiée ici, dans ses mots.

Chronologie

  1. Mark nous écrit après avoir découvert Poly Duo, et propose de comparer un exemple entre nos méthodes de travail.
  2. Son cas de l'embauche du junior passe par le mode Critique par défaut de Duo et par son mode Décision ; toutes les réponses lui sont renvoyées sans retouche, avec une note sur l'endroit où une condition s'est adoucie à la comparaison.
  3. Mark répond avec trois nouveaux cas et propose de les exécuter avec et sans Mechanical Ethics et TRACE. Le jour même, six exécutions : trois cas, chacun avec et sans les cadres. Mêmes décisions dans les deux cas ; les sorties complètes partent chez Mark.

← Toutes les collaborations · Proposer une collaboration