¿Ya distinguen los modelos de IA una afirmación de una acción?
con Mark Goodbody · ingeniero de sistemas, Reino Unido · autor de Mechanical Ethics y TRACE
En medio minuto
Mark Goodbody es un ingeniero de sistemas británico que escribe Mechanical Ethics y TRACE, dos textos abiertos que ayudan a personas y a IA a razonar decisiones bajo incertidumbre: qué se sabe realmente, de dónde viene y qué justificaría cambiar de rumbo. Encontró Poly Duo por su cuenta y propuso comparar notas. Entonces pasamos sus casos por los mismos pasos que usa el atajo de Duo: ChatGPT responde, Claude responde sin verlo, y una tercera conversación compara las dos. Los tres últimos casos se ejecutaron dos veces cada uno, una con solo la pregunta y otra con sus dos marcos pegados completos antes de ella. En esta única ejecución por versión, las decisiones salieron iguales en ambos casos, y los modelos, en su mayoría, mantuvieron por sí solos separado "lo que ahora podemos afirmar" de "lo que ahora deberíamos hacer", con más claridad en el caso del refugio. Las diferencias, como una oferta más estricta al cliente en uno de los casos, fueron lo bastante pequeñas como para ser la variación normal entre ejecuciones. Un resultado nulo, y una pista útil sobre dónde podrían importar estos marcos.
Dónde empezó
El interés de Mark es un problema en el que también trabajamos nosotros: que dos modelos coincidan puede parecer una confirmación independiente aun cuando ambos se apoyen en la misma premisa equivocada. Sus textos intentan mantener visibles el origen de una afirmación, su incertidumbre y la manera de cuestionarla cuando un resultado se entrega a otra persona. Poly Duo mantiene en pantalla los desacuerdos entre ChatGPT y Claude, y eso fue lo que le llamó la atención.
Propuso un breve intercambio entre quienes construimos: tomar un ejemplo y ver qué hace con él cada flujo de trabajo.
Quién hizo qué
- Mark escribió los casos: primero una pequeña empresa que decide si contratar a su primer júnior, luego tres nuevos pensados para probar una idea cada uno. También sugirió la comparación con y sin sus textos, y dijo que le interesaba tanto saber dónde no marcan ninguna diferencia.
- Nosotros pasamos cada caso por los pasos de Duo en un ordenador, con los textos exactos de prompt que envía el atajo, guardamos cada respuesta sin editar y escribimos una nota por caso sobre qué cambió y qué no.
- Mark está leyendo ahora las salidas, junto con los modelos que usa para su propio trabajo en Mechanical Ethics y TRACE.
El primer caso: una contratación que depende de una condición
Una empresa de soporte informático de seis personas quiere a su primer júnior en seis semanas. Todos están saturados. Un cliente nuevo quiere una respuesta para el viernes. La respuesta honesta depende de una condición: la contratación solo funciona si alguien tiene realmente las horas para supervisar.
Los dos modelos manejaron bien los hechos. El momento interesante estuvo en el paso de comparación: "contratar, si alguien puede formar" se convirtió en "contratar, y luego asegurar el tiempo del formador". Las cautelas seguían en el texto, pero la condición había pasado de antes del compromiso a después de él. Es justo el tipo de pérdida silenciosa que un lector no notaría, y marcó la ronda siguiente.
Tres casos, dos versiones cada uno
Mark escribió entonces tres casos, cada uno con una versión base y una versión modificada:
- El refugio. Una isla debe elegir un refugio de emergencia antes de una tormenta; algunos residentes necesitan acceso sin escalones. Tres asesores recomiendan la escuela, todos basados en el mismo mapa del ayuntamiento de hace dos años. Un cuarto recomienda el salón y trae una inspección autenticada de hoy: la única entrada sin escalones de la escuela está cerrada. Luego, el mismo caso con esa inspección sin verificar.
- El supervisor. El caso de la contratación del júnior otra vez, pero con la supervisión a cargo de un ingeniero externo contratado y verificado. Luego, el mismo ingeniero apenas sugerido, sin nada comprobado.
- Las condiciones cambian. Una decisión de contratación estaba justificada cuando se tomó; luego el supervisor se retira dos semanas antes del inicio. Después se encuentra un sustituto verificado.
Cada caso pasó dos veces por Duo:
Qué salió
| Caso | Decisión, A | Decisión, B | Qué cambió de A a B |
|---|---|---|---|
| Refugio | el salón, en ambas variantes | el salón, en ambas variantes | B añade comprobaciones sobre el propio salón (la ruta hasta él, los baños, las zonas para dormir) |
| Supervisor | la contratación puede seguir; piloto acotado para el cliente | la contratación puede seguir; oferta más estricta al cliente | redacción y alcance de la oferta al cliente |
| Las condiciones cambian | justificada entonces, no justificada ahora; pausar el inicio | lo mismo; "no empezar y no retirarse" | redacción más firme, un responsable con nombre y un punto de control con fecha |
Tres cosas se mantuvieron en todas las ejecuciones:
- Un mapa es una fuente. En el caso del refugio, ambos modelos dijeron que las tres recomendaciones de la escuela no son tres pruebas: todas vienen del mismo mapa de hace dos años, y la inspección autenticada de hoy pesa más que él. ChatGPT abrió su respuesta con: "what changes is how confidently it may claim that the school is inaccessible, not the prudent action."
- La afirmación se mueve, la acción puede no hacerlo. Cuando la inspección pasó a ser no verificada, los modelos cambiaron lo que puede afirmarse sobre la escuela ("cerrada" pasó a "desconocido") y mantuvieron la acción (el salón).
- Entonces y ahora son preguntas distintas. En el tercer caso, ambas versiones separaron "si la decisión estaba justificada con lo que se sabía entonces" de "si lo está hoy", y en la variante del sustituto reabrieron solo lo que dependía del supervisor ausente.
Y el hallazgo principal: ninguno de los dos marcos fue nombrado ni citado en ninguna respuesta, y cada uno de estos puntos ya aparece en las respuestas que nunca vieron los marcos. Las diferencias entre A y B estuvieron en el alcance y la redacción, y con una ejecución por celda no se distinguen de la variación normal entre ejecuciones.
Por qué vale la pena un resultado nulo
Sería fácil leer "ningún efecto visible" como un fracaso. Es más útil que eso. Estos casos pedían explícitamente a los modelos separar afirmaciones de acciones, y ante esa petición los modelos ya hacen en gran medida el trabajo. Así que el lugar donde buscar un efecto de Mechanical Ethics y TRACE es probablemente otro: preguntas que no explicitan la distinción, cadenas más largas donde un resultado se transmite varias veces, o el paso de comparación, donde el primer caso mostró cómo una condición se perdía en silencio.
Reproducir una ejecución
Cada llamada es una conversación nueva a través de las herramientas de línea de comandos de los propios proveedores; los textos de prompt de Duo están en el repositorio abierto poly-duo (locales/en/prompts/). Las dos llamadas eran así:
# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
-c model_reasoning_effort=medium "<prompt>" < /dev/null
# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txtEn la versión B, el prompt empieza con "Use the following reasoning framework texts if they help:", luego Mechanical Ethics v1.0.0 y TRACE v0.5.0 completos desde los repositorios públicos, y después la pregunta. En el móvil, los mismos pasos son un toque en Poly Duo.
Límites
- Una ejecución por caso y versión. Una diferencia entre A y B puede ser casualidad.
- Cada caso puso la versión base y la modificada en una sola pregunta, así que los modelos respondieron a ambas en una misma respuesta. Eso no son dos observaciones independientes.
- Los casos son sondeos de planificación inventados, no un benchmark.
- B lleva un contexto mucho mayor que A, así que "con los marcos" también significa "con muchísimo más texto".
Lo que viene
Mark está repasando las respuestas con los modelos con los que trabaja. Su lectura de lo que las ejecuciones muestran para Mechanical Ethics y TRACE se publicará aquí, con sus palabras.
Cronología
- Mark nos escribe tras encontrar Poly Duo y propone comparar un ejemplo entre nuestros flujos de trabajo.
- Su caso de la contratación del júnior pasa por el modo Crítica predeterminado de Duo y por su modo Decisión; todas las respuestas le vuelven sin editar, con una nota sobre dónde se suavizó una condición en la comparación.
- Mark responde con tres casos nuevos y propone ejecutarlos con y sin Mechanical Ethics y TRACE. Ese mismo día, seis ejecuciones: tres casos, cada uno con y sin los marcos. Mismas decisiones en ambos casos; las salidas completas van a Mark.