Colaboraciones

¿Ya distinguen los modelos de IA una afirmación de una acción?

con Mark Goodbody · ingeniero de sistemas, Reino Unido · autor de Mechanical Ethics y TRACE

Ilustración: tormenta sobre un pueblo isleño. Tres señales apuntan a la escuela y todas brotan del mismo mapa viejo; una cuarta apunta al salón y lleva una hoja de inspección reciente. Dos faroles observan, y las pruebas y la decisión están en dos bandejas separadas.

En medio minuto

Mark Goodbody es ingeniero de sistemas en el Reino Unido. Escribe Mechanical Ethics y TRACE, dos textos abiertos que ayudan a personas y a IA a pensar una decisión cuando no se sabe todo: qué sabemos de verdad, de dónde viene y qué nos haría cambiar de rumbo.

Encontró Poly Duo por su cuenta y nos propuso intercambiar un ejemplo para ver qué hace con él cada uno de nuestros modos de trabajar. Luego escribió tres casos nuevos, y se los dimos dos veces a ChatGPT y a Claude: una con solo la pregunta y otra con sus dos textos pegados delante.

Seis ejecuciones, y las distinciones principales aparecieron en ambas versiones: incluso sin sus textos, los modelos mantuvieron separado "lo que ahora podemos decir" de "lo que ahora deberíamos hacer". Estas ejecuciones no establecieron un beneficio de añadir Mechanical Ethics y TRACE. Las versiones sí difirieron en algunos puntos: las ofertas al cliente y la redacción del primer resultado de contratación. Mark está leyendo ahora las respuestas con sus propios modelos; si sus marcos marcan alguna diferencia, probablemente será con otro tipo de preguntas.

Ver en YouTube

Dónde empezó

Mark trabaja en un problema que también nos importa a nosotros. Cuando dos modelos coinciden, parece una confirmación independiente, aunque los dos se apoyen en la misma premisa equivocada. Sus textos intentan mantener a la vista tres cosas cuando un resultado pasa a otra persona: de dónde salió una afirmación, qué tan seguro está uno de ella y cómo cuestionarla.

Poly Duo muestra en pantalla dónde discrepan ChatGPT y Claude, y eso fue lo que le llamó la atención. Propuso un breve intercambio entre quienes construimos: tomar un ejemplo y ver qué hace con él cada flujo de trabajo.

Quién hizo qué

  • Mark escribió los casos. Primero, una pequeña empresa que decide si contratar a su primer júnior; luego tres nuevos, cada uno pensado para probar una idea. También sugirió ejecutarlos con y sin sus textos, y dijo que le importaba tanto saber dónde no marcan ninguna diferencia.
  • Nosotros pasamos cada caso por los mismos pasos que usa el atajo de Duo: ChatGPT responde, Claude responde sin ver esa respuesta y una tercera conversación compara las dos. Usamos los prompts exactos que envía el atajo, guardamos cada respuesta sin editar y le escribimos a Mark una nota por caso sobre qué cambió y qué no.
  • Mark está leyendo ahora las respuestas, junto con los modelos que usa para su propio trabajo en Mechanical Ethics y TRACE.

El primer caso: una contratación que depende de una condición

Una empresa de soporte informático de seis personas quiere a su primer júnior en seis semanas. Todos están saturados. Un cliente nuevo quiere una respuesta para el viernes. La respuesta honesta depende de una condición: la contratación solo funciona si alguien tiene realmente las horas para supervisar.

Los dos modelos manejaron bien los hechos. Lo interesante llegó en el paso de comparación: la formulación condicional se debilitó: "contratar, si alguien puede formar" se leía más bien como "contratar, y luego buscar el tiempo del formador". Las advertencias seguían ahí y no apareció ningún compromiso incondicional, pero la condición se expresaba con menos firmeza.

Un lector no notaría un desliz así. Marcó la ronda siguiente.

Tres casos, dos versiones cada uno

Mark escribió entonces tres casos, cada uno con una versión base y una versión modificada:

  1. El refugio. Viene una tormenta y una isla tiene que elegir un refugio de emergencia. Algunos residentes necesitan entrar sin escalones. Tres asesores recomiendan la escuela, todos según el mismo mapa del ayuntamiento de hace dos años. Un cuarto recomienda el salón y trae una inspección verificada de hoy: la única entrada sin escalones de la escuela está cerrada. Luego, el mismo caso, pero sin que nadie haya verificado esa inspección.
  2. El supervisor. Otra vez la contratación del júnior, pero ahora lo supervisará un ingeniero externo, contratado y comprobado. Luego, el mismo ingeniero solo sugerido, sin nada comprobado.
  3. Las cosas cambian. Decidir contratar tenía sentido cuando se tomó. Luego el supervisor se retira dos semanas antes del inicio. Después aparece un sustituto comprobado.

Cada caso pasó dos veces por Duo:

3 casos escritos por Mark A · solo la pregunta sin nada añadido B · con ME + TRACE ambos textos completos, ~229 KB ChatGPT Claude, a ciegasluego una comparación ChatGPT Claude, a ciegasluego una comparación distinciones principales en ambas
Seis ejecuciones: tres casos, cada uno con y sin los marcos de Mark. Los modelos: gpt-5.6-sol (lado ChatGPT) y claude-opus-5-5 (lado Claude), cada llamada en una conversación nueva.

Qué salió

Caso Decisión, A Decisión, B Qué cambió de A a B
Refugio el salón, en ambas variantes el salón, en ambas variantes B enumera comprobaciones sobre el propio salón (la ruta hasta él, los baños, las zonas para dormir); varias ya estaban en A
Supervisor la contratación puede seguir; piloto acotado para el cliente la contratación puede seguir; oferta más estricta al cliente las ofertas al cliente diferían: un piloto acotado en A, una oferta más estricta en B
Las condiciones cambian justificada entonces, no justificada ahora; pausar el inicio lo mismo; "no empezar y no retirarse" redacción más firme, un responsable con nombre y un punto de control con fecha

Tres cosas se mantuvieron en todas las ejecuciones:

  • Un mapa es una fuente. En el caso del refugio, ambos modelos dijeron que los tres votos por la escuela no son tres pruebas. Todos vienen del mismo mapa de hace dos años, y la inspección verificada de hoy pesa más. ChatGPT abrió su respuesta con: "what changes is how confidently it may claim that the school is inaccessible, not the prudent action."
  • Lo que decimos puede cambiar mientras lo que hacemos se queda. Cuando la inspección pasó a ser no verificada, los modelos cambiaron lo que decían de la escuela ("cerrada" pasó a "desconocido") pero mantuvieron la acción: ir al salón.
  • Entonces y ahora son preguntas distintas. En el tercer caso, ambas versiones separaron "si la decisión tenía sentido entonces" de "si lo tiene hoy". Cuando apareció un sustituto, reabrieron solo lo que dependía del supervisor ausente.

Y el hallazgo principal: ninguna respuesta nombró ni citó ninguno de los dos marcos. Cada uno de estos puntos ya aparece en las respuestas que nunca los vieron.

A y B difirieron en cuánto abarcaban y en cómo lo decían. Con una ejecución por celda, eso no se distingue de las diferencias normales entre dos ejecuciones.

Por qué "sin diferencia" también sirve

Es fácil leer "ningún efecto visible" como un fracaso. Sirve más que eso. Estos casos les pedían a los modelos, sin rodeos, separar lo que decimos de lo que hacemos, y en eso los modelos ya se defienden bastante bien.

Así que el efecto de Mechanical Ethics y TRACE probablemente está en otra parte. Quizá en preguntas que no explican la diferencia. Quizá en cadenas más largas, donde un resultado pasa de mano varias veces. O en el paso de comparación, donde el primer caso mostró cómo una condición se escurría sin que nadie lo notara.

Reproducir una ejecución

Cada llamada es una conversación nueva a través de las herramientas de línea de comandos de los propios proveedores; los textos de prompt de Duo están en el repositorio abierto poly-duo (locales/en/prompts/). Las dos llamadas eran así:

# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
  -c model_reasoning_effort=medium "<prompt>" < /dev/null

# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txt

En la versión B, el prompt empieza con "Use the following reasoning framework texts if they help:", luego Mechanical Ethics v1.0.0 y TRACE v0.5.0 completos desde los repositorios públicos, y después la pregunta. En el móvil, los mismos pasos son un toque en Poly Duo.

Límites

  • Una ejecución por caso y versión. Una diferencia entre A y B puede ser casualidad.
  • Cada caso puso la versión base y la modificada en una sola pregunta, así que los modelos respondieron a ambas en una misma respuesta. Eso no son dos respuestas independientes.
  • Los casos son pruebas de planificación inventadas, no un benchmark.
  • B lleva mucho más texto que A, así que "con los marcos" también significa "con muchísimo más que leer".

Lo que viene

Mark está repasando las respuestas con los modelos con los que trabaja. Lo que saque de ellas para Mechanical Ethics y TRACE se publicará aquí, con sus propias palabras.

Cronología

  1. Mark nos escribe tras encontrar Poly Duo y propone comparar un ejemplo entre nuestros flujos de trabajo.
  2. Su caso de la contratación del júnior pasa por el modo Crítica predeterminado de Duo y por su modo Decisión; todas las respuestas le vuelven sin editar, con una nota sobre dónde se suavizó una condición en la comparación.
  3. Mark responde con tres casos nuevos y propone ejecutarlos con y sin Mechanical Ethics y TRACE. Ese mismo día, seis ejecuciones: tres casos, cada uno con y sin los marcos. Las distinciones principales aparecen en ambas versiones; estas ejecuciones no establecen ningún beneficio de los marcos; las salidas completas van a Mark.

← Todas las colaboraciones · Proponer una colaboración