Os modelos de IA já separam uma afirmação de uma ação?
com Mark Goodbody · engenheiro de sistemas, Reino Unido · autor do Mechanical Ethics e do TRACE

Em meio minuto
Mark Goodbody é engenheiro de sistemas no Reino Unido. Ele escreve o Mechanical Ethics e o TRACE, dois textos abertos que ajudam pessoas e IAs a pensar numa decisão quando nem tudo é conhecido: o que a gente de fato sabe, de onde veio e o que faria a gente mudar de rumo.
Ele descobriu o Poly Duo por conta própria e sugeriu trocarmos um exemplo para ver o que cada um dos nossos jeitos de trabalhar faz com ele. Aí ele escreveu três casos novos, e demos cada um ao ChatGPT e ao Claude duas vezes: uma só com a pergunta, outra com os dois textos dele colados antes.
Seis rodadas, e as principais distinções apareceram nas duas versões: mesmo sem os textos dele, os modelos mantiveram "o que podemos dizer agora" separado de "o que devemos fazer agora". Essas rodadas não estabeleceram benefício em acrescentar o Mechanical Ethics e o TRACE. As versões diferiram em alguns pontos: as ofertas ao cliente e a redação do primeiro resultado de contratação. O Mark agora está lendo as respostas com os modelos dele; se os frameworks fazem diferença, provavelmente é em outros tipos de pergunta.
Onde tudo começou
O Mark trabalha num problema que também nos importa. Quando dois modelos concordam, parece uma confirmação independente, mesmo que os dois partam da mesma premissa errada. Os textos dele tentam manter três coisas à vista quando um resultado é repassado: de onde veio uma afirmação, quão seguro alguém está dela e como contestá-la.
O Poly Duo mostra na tela onde o ChatGPT e o Claude divergem, e foi isso que chamou a atenção dele. Ele sugeriu uma troca rápida entre quem constrói: pegar um exemplo e ver o que cada fluxo de trabalho faz com ele.
Quem fez o quê
- Mark escreveu os casos. Primeiro uma pequena empresa decidindo se contrata seu primeiro júnior, depois três novos, cada um feito para testar uma ideia. Ele também sugeriu rodar com e sem os textos dele, e disse que lhe importava tanto ver onde eles não fazem diferença quanto onde fazem.
- Nós passamos cada caso pelos mesmos passos que o atalho do Duo usa: o ChatGPT responde, o Claude responde sem ver essa resposta, e uma terceira conversa compara as duas. Usamos os prompts exatos que o atalho envia, guardamos todas as respostas sem edição e escrevemos para o Mark uma nota por caso sobre o que mudou e o que não mudou.
- Mark agora está lendo as respostas, junto com os modelos que usa no próprio trabalho com o Mechanical Ethics e o TRACE.
O primeiro caso: uma contratação que depende de uma condição
Uma empresa de suporte de TI com seis pessoas quer o primeiro júnior em seis semanas. Todos estão sem horas livres. Um cliente novo quer uma resposta até sexta. A resposta honesta depende de uma condição: a contratação só funciona se alguém realmente tiver horas para supervisionar.
Os dois modelos lidaram bem com os fatos. O ponto interessante veio no passo de comparação: a redação condicional ficou mais fraca: "contratar, se alguém puder treinar" passou a soar mais como "contratar e depois achar o tempo de quem vai treinar". Os avisos continuavam lá e nenhum compromisso incondicional apareceu, mas a condição foi expressa com menos firmeza.
Um leitor nunca perceberia um deslize desses. Ele moldou a rodada seguinte.
Três casos, duas versões cada
Mark então escreveu três casos, cada um com uma versão base e uma versão alterada:
- O abrigo. Vem uma tempestade, e uma ilha precisa escolher um abrigo de emergência. Alguns moradores precisam de uma entrada sem degraus. Três consultores recomendam a escola, todos com base no mesmo mapa da prefeitura de dois anos atrás. Um quarto recomenda o salão e traz uma inspeção verificada de hoje: a única entrada sem degraus da escola está fechada. Depois, o mesmo caso, mas ninguém verificou essa inspeção.
- O supervisor. A contratação do júnior de novo, mas agora um engenheiro externo, contratado e checado, vai supervisionar. Depois, o mesmo engenheiro é só sugerido, e nada foi checado.
- As coisas mudam. A decisão de contratar fazia sentido quando foi tomada. Aí o supervisor desiste duas semanas antes do início. Depois, aparece um substituto checado.
Cada caso passou pelo Duo duas vezes:
O que saiu
| Caso | Decisão, A | Decisão, B | O que mudou de A para B |
|---|---|---|---|
| Abrigo | o salão, nas duas variantes | o salão, nas duas variantes | B lista verificações sobre o próprio salão (o caminho até lá, banheiros, áreas de dormir); várias já estavam em A |
| Supervisor | a contratação pode seguir; piloto limitado para o cliente | a contratação pode seguir; oferta mais rigorosa ao cliente | as ofertas ao cliente diferiram: um piloto limitado em A, uma oferta mais rigorosa em B |
| As condições mudam | justificada então, não justificada agora; pausar o início | igual; "não começar e não desistir" | redação mais firme, um responsável nomeado e um ponto de checagem com data |
Três coisas se mantiveram em todas as rodadas:
- Um mapa é uma fonte. No caso do abrigo, os dois modelos disseram que os três votos pela escola não são três provas. Todos vêm do mesmo mapa de dois anos atrás, e a inspeção verificada de hoje pesa mais. O ChatGPT abriu a resposta com: "o que muda é o grau de confiança com que se pode afirmar que a escola é inacessível, não a ação prudente."
- O que dizemos pode mudar enquanto o que fazemos continua. Quando a inspeção passou a ser não verificada, os modelos mudaram o que diziam sobre a escola ("fechada" virou "desconhecido"), mas mantiveram a ação: ir para o salão.
- Naquele momento e agora são perguntas diferentes. No terceiro caso, as duas versões separaram "a decisão fazia sentido naquela hora" de "ela faz sentido hoje". Quando apareceu um substituto, reabriram só o que dependia do supervisor que saiu.
E a conclusão principal: nenhuma resposta nomeou ou citou qualquer um dos frameworks. Cada um desses pontos já aparece nas respostas que nunca os viram.
A e B diferiram no quanto cobriram e no jeito de dizer. Com uma rodada só de cada, isso não se distingue das diferenças normais entre duas rodadas.
Por que "nenhuma diferença" ainda ajuda
É fácil ler "nenhum efeito visível" como fracasso. É mais útil do que isso. Esses casos pediam aos modelos, de cara, que separassem o que dizemos do que fazemos, e nisso os modelos em geral já se viram bem.
Então o efeito do Mechanical Ethics e do TRACE provavelmente está em outro lugar. Talvez em perguntas que não explicitam a diferença. Talvez em cadeias mais longas, em que um resultado é repassado várias vezes. Ou no passo de comparação, onde o primeiro caso mostrou uma condição escorregando em silêncio.
Reproduza uma rodada
Cada chamada é uma conversa nova pelas ferramentas de linha de comando dos próprios fornecedores; os textos de prompt do Duo estão no repositório aberto poly-duo (locales/en/prompts/). As duas chamadas eram assim:
# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
-c model_reasoning_effort=medium "<prompt>" < /dev/null
# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txtNa versão B, o prompt começa com "Use the following reasoning framework texts if they help:", depois vêm o Mechanical Ethics v1.0.0 e o TRACE v0.5.0 por inteiro, dos repositórios públicos, e então a pergunta. No celular, os mesmos passos são um toque no Poly Duo.
Limites
- Uma rodada por caso e versão. Uma diferença entre A e B pode ser acaso.
- Cada caso pôs a versão base e a versão alterada numa só pergunta, então os modelos responderam às duas numa única resposta. Isso não são duas respostas independentes.
- Os casos são testes de planejamento inventados, não um benchmark.
- B carrega bem mais texto que A, então "com os frameworks" também significa "com muito mais para ler".
O que vem a seguir
Mark está passando pelas respostas com os modelos com que trabalha. O que ele tirar delas para o Mechanical Ethics e o TRACE virá para cá, nas palavras dele.
Cronologia
- Mark nos escreve depois de descobrir o Poly Duo e sugere comparar um exemplo entre os nossos fluxos de trabalho.
- O caso da contratação do júnior roda pelo modo Crítica padrão do Duo e pelo modo Decisão; todas as respostas voltam a ele sem edição, com uma nota sobre onde uma condição foi suavizada na comparação.
- Mark responde com três casos novos e sugere rodá-los com e sem o Mechanical Ethics e o TRACE. No mesmo dia, seis rodadas: três casos, cada um com e sem os frameworks. As principais distinções aparecem nas duas versões; essas rodadas não estabelecem benefício dos frameworks; as saídas completas vão para o Mark.