Os modelos de IA já separam uma afirmação de uma ação?

Onde tudo começou

O interesse do Mark é um problema em que também trabalhamos: dois modelos concordando podem parecer uma confirmação independente mesmo quando os dois partem da mesma premissa equivocada. Os textos dele tentam manter visíveis a fonte de uma afirmação, a incerteza dela e o modo de questioná-la quando um resultado é repassado a outra pessoa. O Poly Duo mantém na tela as divergências entre o ChatGPT e o Claude, e foi isso que chamou a atenção dele.

Ele propôs uma troca curta entre quem constrói: pegar um exemplo e ver o que cada fluxo de trabalho faz com ele.

Quem fez o quê

• Mark escreveu os casos: primeiro uma pequena empresa decidindo se contrata seu primeiro júnior, depois três novos, cada um feito para testar uma ideia. Também sugeriu a comparação com e sem os textos dele, e disse que lhe interessava tanto ver onde eles não fazem diferença quanto onde fazem.
• Nós rodamos cada caso pelos passos do Duo num computador, com os textos exatos de prompt que o atalho envia, guardamos todas as respostas sem edição e escrevemos uma nota por caso sobre o que mudou e o que não mudou.
• Mark está lendo as saídas agora, junto com os modelos que usa no próprio trabalho com o Mechanical Ethics e o TRACE.

O primeiro caso: uma contratação que depende de uma condição

Uma empresa de suporte de TI com seis pessoas quer o primeiro júnior em seis semanas. Todos estão sem horas livres. Um cliente novo quer uma resposta até sexta. A resposta honesta depende de uma condição: a contratação só funciona se alguém realmente tiver horas para supervisionar.

Os dois modelos lidaram bem com os fatos. O momento interessante foi no passo de comparação: "contratar, se alguém puder treinar" virou "contratar e depois garantir o tempo de quem vai treinar". As ressalvas continuavam no texto, mas a condição tinha passado de antes do compromisso para depois dele. É exatamente o tipo de perda silenciosa que um leitor não perceberia, e ela moldou a rodada seguinte.

Três casos, duas versões cada

Mark então escreveu três casos, cada um com uma versão base e uma versão alterada:

1. O abrigo. Uma ilha precisa escolher um abrigo de emergência antes de uma tempestade; alguns moradores precisam de acesso sem degraus. Três consultores recomendam a escola, todos apoiados no mesmo mapa da prefeitura de dois anos atrás. Um quarto recomenda o salão e traz uma inspeção autenticada de hoje: a única entrada sem degraus da escola está fechada. Depois, o mesmo caso com essa inspeção não verificada.
2. O supervisor. O caso da contratação do júnior de novo, mas agora a supervisão vem de um engenheiro externo contratado e verificado. Depois, o mesmo engenheiro apenas sugerido, sem nada checado.
3. As condições mudam. Uma decisão de contratação foi justificada quando tomada; depois o supervisor desiste duas semanas antes do início. Depois, aparece um substituto verificado.

Cada caso passou pelo Duo duas vezes:

O que saiu

Três coisas se mantiveram em todas as rodadas:

• Um mapa é uma fonte. No caso do abrigo, os dois modelos disseram que as três recomendações da escola não são três provas: todas vêm do mesmo mapa de dois anos atrás, e a inspeção autenticada de hoje pesa mais que ele. O ChatGPT abriu a resposta com: "o que muda é o grau de confiança com que se pode afirmar que a escola é inacessível, não a ação prudente."
• A afirmação se move, a ação pode não se mover. Quando a inspeção passou a ser não verificada, os modelos mudaram o que se pode afirmar sobre a escola ("fechada" virou "desconhecido") e mantiveram a ação (o salão).
• Naquele momento e agora são perguntas diferentes. No terceiro caso, as duas versões separaram "a decisão era justificada com o que se sabia então" de "ela é justificada hoje" e, na variante do substituto, reabriram apenas o que estava ligado ao supervisor ausente.

E a conclusão principal: nenhum dos frameworks foi nomeado ou citado em qualquer resposta, e cada um desses pontos já aparece nas respostas que nunca os viram. As diferenças entre A e B foram de alcance e de redação e, com uma rodada por célula, não se distinguem da variação comum entre rodadas.

Por que vale a pena ter um resultado nulo

Seria fácil ler "nenhum efeito visível" como fracasso. É mais útil do que isso. Esses casos pediam explicitamente que os modelos separassem afirmações de ações e, nesse pedido, os modelos em grande parte já fazem o serviço. Então o lugar para procurar um efeito do Mechanical Ethics e do TRACE provavelmente é outro: perguntas que não explicitam a distinção, cadeias mais longas em que um resultado é repassado várias vezes, ou o passo de comparação, onde o primeiro caso mostrou uma condição se perdendo em silêncio.

Reproduza uma rodada

Cada chamada é uma conversa nova pelas ferramentas de linha de comando dos próprios fornecedores; os textos de prompt do Duo estão no repositório aberto poly-duo (locales/en/prompts/). As duas chamadas eram assim:

# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
  -c model_reasoning_effort=medium "<prompt>" < /dev/null

# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txt

Na versão B, o prompt começa com "Use the following reasoning framework texts if they help:", depois vêm o Mechanical Ethics v1.0.0 e o TRACE v0.5.0 por inteiro, dos repositórios públicos, e então a pergunta. No celular, os mesmos passos são um toque no Poly Duo.

Limites

• Uma rodada por caso e versão. Uma diferença entre A e B pode ser acaso.
• Cada caso pôs a versão base e a versão alterada numa só pergunta, então os modelos responderam às duas numa única resposta. Isso não são duas observações independentes.
• Os casos são sondagens de planejamento inventadas, não um benchmark.
• B carrega um contexto muito maior que A, então "com os frameworks" também significa "com muito mais texto".

O que vem a seguir

Mark está passando pelas respostas com os modelos com que trabalha. A leitura dele sobre o que as rodadas mostram para o Mechanical Ethics e o TRACE virá para cá, nas palavras dele.

Cronologia

1. 9 de novembro de 2026Mark nos escreve depois de descobrir o Poly Duo e sugere comparar um exemplo entre os nossos fluxos de trabalho.
2. 11 de novembro de 2026O caso da contratação do júnior roda pelo modo Crítica padrão do Duo e pelo modo Decisão; todas as respostas voltam a ele sem edição, com uma nota sobre onde uma condição foi suavizada na comparação.
3. 12 de novembro de 2026Mark responde com três casos novos e sugere rodá-los com e sem o Mechanical Ethics e o TRACE. No mesmo dia, seis rodadas: três casos, cada um com e sem os frameworks. As mesmas decisões nos dois jeitos; as saídas completas vão para o Mark.