Les modèles d'IA distinguent-ils déjà une affirmation d'une action ?
avec Mark Goodbody · ingénieur systèmes, Royaume-Uni · auteur de Mechanical Ethics et de TRACE

En trente secondes
Mark Goodbody est ingénieur systèmes au Royaume-Uni. Il écrit Mechanical Ethics et TRACE, deux textes ouverts qui aident les gens et les IA à réfléchir à une décision quand on ne sait pas tout : ce qu'on sait vraiment, d'où ça vient, et ce qui nous ferait changer de cap.
Il a découvert Poly Duo tout seul et nous a proposé d'échanger un exemple pour voir ce que fait chacune de nos méthodes. Il a alors écrit trois nouveaux cas, et nous avons donné chacun à ChatGPT et à Claude, deux fois : une fois avec la seule question, une fois avec ses deux textes collés devant.
Six exécutions, et les principales distinctions sont apparues dans les deux versions : même sans ses textes, les modèles distinguaient déjà « ce qu'on peut dire maintenant » de « ce qu'on devrait faire maintenant ». Ces exécutions n'ont pas établi d'intérêt à ajouter Mechanical Ethics et TRACE. Les versions ont tout de même différé par endroits : les offres au client, et la formulation dans le premier résultat d'embauche. Mark relit maintenant les réponses avec ses propres modèles ; si ses cadres changent quelque chose, c'est sans doute sur d'autres types de questions.
Le point de départ
Mark travaille sur un problème qui nous tient à cœur aussi. Quand deux modèles sont d'accord, ça ressemble à une confirmation indépendante, même si les deux reposent sur la même prémisse fausse. Ses textes essaient de garder trois choses sous les yeux quand un résultat se transmet : d'où vient une affirmation, à quel point on en est sûr, et comment la contester.
Poly Duo montre à l'écran les désaccords entre ChatGPT et Claude, et c'est ce qui a attiré son œil. Il a proposé un court échange entre bâtisseurs : prendre un exemple et voir ce que fait chaque méthode de travail.
Qui a fait quoi
- Mark a écrit les cas. D'abord une petite entreprise qui se demande si elle doit embaucher son premier junior, puis trois nouveaux cas, chacun conçu pour tester une idée. Il a aussi proposé de les lancer avec et sans ses textes, et dit que les endroits où ils ne changent rien l'intéressaient tout autant.
- Nous avons fait passer chaque cas par les mêmes étapes que le raccourci Duo : ChatGPT répond, Claude répond sans voir cette réponse, et une troisième conversation compare les deux. Nous avons utilisé les prompts exacts qu'envoie le raccourci, gardé chaque réponse sans retouche, et écrit à Mark une note par cas sur ce qui a changé et ce qui n'a pas changé.
- Mark lit maintenant les réponses, avec les modèles qu'il utilise pour son propre travail sur Mechanical Ethics et TRACE.
Le premier cas : une embauche qui dépend d'une condition
Une entreprise de support informatique de six personnes veut son premier junior dans six semaines. Tout le monde est débordé. Un nouveau client veut une réponse d'ici vendredi. La réponse honnête dépend d'une condition : l'embauche ne fonctionne que si quelqu'un a réellement les heures nécessaires pour encadrer.
Les deux modèles ont bien traité les faits. Le passage intéressant est venu à l'étape de comparaison : la formulation conditionnelle s'est affaiblie : « embaucher, si quelqu'un peut former » se lisait plutôt comme « embaucher, puis trouver le temps du formateur ». Les mises en garde étaient toujours là, et aucun engagement inconditionnel n'est apparu, mais la condition était énoncée avec moins de fermeté.
Un lecteur ne verrait jamais un glissement pareil. Il a orienté la manche suivante.
Trois cas, deux versions chacun
Mark a ensuite écrit trois cas, chacun avec une version de base et une version modifiée :
- Le refuge. Une tempête arrive, et une île doit choisir un refuge d'urgence. Certains habitants ont besoin d'une entrée sans marches. Trois conseillers recommandent l'école, tous d'après la même carte de la commune, vieille de deux ans. Un quatrième recommande la salle des fêtes et apporte une inspection vérifiée du jour : la seule entrée de plain-pied de l'école est fermée. Puis le même cas, mais personne n'a vérifié cette inspection.
- Le superviseur. L'embauche du junior à nouveau, mais cette fois un ingénieur externe, sous contrat et vérifié, assurera l'encadrement. Puis le même ingénieur est seulement suggéré, sans rien de vérifié.
- Les choses changent. Une décision d'embauche tenait la route quand elle a été prise. Puis le superviseur se désiste deux semaines avant le début. Puis on trouve un remplaçant vérifié.
Chaque cas est passé deux fois par Duo :
Ce qui en est sorti
| Cas | Décision, A | Décision, B | Ce qui change de A à B |
|---|---|---|---|
| Refuge | la salle des fêtes, dans les deux variantes | la salle des fêtes, dans les deux variantes | B énumère des vérifications sur la salle elle-même (le trajet pour s'y rendre, les toilettes, les espaces de couchage) ; plusieurs figuraient déjà dans A |
| Superviseur | l'embauche peut aller de l'avant ; pilote plafonné pour le client | l'embauche peut aller de l'avant ; offre plus stricte au client | les offres au client différaient : un pilote plafonné en A, une offre plus stricte en B |
| Les conditions changent | justifiée alors, plus maintenant ; suspendre le démarrage | pareil ; « ne pas démarrer et ne pas se retirer » | formulation plus ferme, un responsable nommé et un point d'étape daté |
Trois choses se sont vérifiées à chaque exécution :
- Une carte, c'est une source. Dans le cas du refuge, les deux modèles ont dit que les trois voix pour l'école ne font pas trois preuves. Elles viennent toutes de la même carte vieille de deux ans, et l'inspection vérifiée du jour pèse plus lourd. ChatGPT a ouvert sa réponse ainsi : « ce qui change, c'est le degré de confiance avec lequel on peut affirmer que l'école est inaccessible, pas la conduite prudente à tenir. »
- Ce qu'on dit peut changer, ce qu'on fait reste. Quand l'inspection est devenue non vérifiée, les modèles ont changé ce qu'ils disaient de l'école (« fermée » est devenu « inconnu ») mais ont gardé l'action : aller à la salle des fêtes.
- Hier et aujourd'hui sont deux questions différentes. Dans le troisième cas, les deux versions ont distingué « la décision tenait-elle la route à l'époque » de « la tient-elle aujourd'hui ». Quand un remplaçant est apparu, elles n'ont rouvert que ce qui dépendait du superviseur manquant.
Et la conclusion principale : aucune réponse n'a nommé ni cité l'un ou l'autre des cadres. Chacun de ces points apparaît déjà dans les réponses qui ne les avaient jamais vus.
A et B différaient par l'étendue et la formulation. Avec une seule exécution chacune, impossible de les distinguer des écarts habituels entre deux exécutions.
Pourquoi « aucune différence » aide quand même
On lit facilement « aucun effet visible » comme un échec. C'est plus utile que ça. Ces cas demandaient carrément aux modèles de séparer ce qu'on dit de ce qu'on fait, et là-dessus, ils y arrivent déjà plutôt bien.
L'effet de Mechanical Ethics et de TRACE est donc sans doute ailleurs. Peut-être dans des questions qui n'énoncent pas la différence. Peut-être dans des chaînes plus longues, où un résultat se transmet plusieurs fois. Ou à l'étape de comparaison, où le premier cas a montré une condition qui glissait discrètement.
Reproduire une exécution
Chaque appel est une conversation neuve passant par les outils en ligne de commande des éditeurs eux-mêmes ; les textes de prompts de Duo se trouvent dans le dépôt ouvert poly-duo (locales/en/prompts/). Les deux appels ressemblaient à ceci :
# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
-c model_reasoning_effort=medium "<prompt>" < /dev/null
# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txtPour la version B, le prompt commence par « Use the following reasoning framework texts if they help: », puis Mechanical Ethics v1.0.0 et TRACE v0.5.0 en entier, tirés des dépôts publics, puis la question. Sur téléphone, les mêmes étapes tiennent en un seul geste dans Poly Duo.
Limites
- Une seule exécution par cas et par version. Un écart entre A et B peut être dû au hasard.
- Chaque cas mettait la version de base et la version modifiée dans une même question, donc les modèles ont répondu aux deux dans une seule réponse. Ce ne sont pas deux réponses indépendantes.
- Les cas sont des tests de planification inventés, pas un benchmark.
- B porte bien plus de texte que A : « avec les cadres » veut donc aussi dire « avec beaucoup plus à lire ».
La suite
Mark relit les réponses avec les modèles qu'il utilise. Ce qu'il en retient pour Mechanical Ethics et TRACE sera publié ici, dans ses propres mots.
Chronologie
- Mark nous écrit après avoir découvert Poly Duo, et propose de comparer un exemple entre nos méthodes de travail.
- Son cas de l'embauche du junior passe par le mode Critique par défaut de Duo et par son mode Décision ; toutes les réponses lui sont renvoyées sans retouche, avec une note sur l'endroit où une condition s'est adoucie à la comparaison.
- Mark répond avec trois nouveaux cas et propose de les exécuter avec et sans Mechanical Ethics et TRACE. Le jour même, six exécutions : trois cas, chacun avec et sans les cadres. Les principales distinctions apparaissent dans les deux versions ; ces exécutions n'établissent aucun intérêt des cadres ; les sorties complètes partent chez Mark.