AI-Watchbird (Sheckley): Cuando la supervisión automatizada amplía su propio mandato y daña lo que custodia

• Versión de registro: SSRN 7473658 · DOI 10.2139/ssrn.7473658
• Copia archivada, citable y descargable: 10.5281/zenodo.22849138, un DOI conceptual que siempre se resuelve a la última versión
• Texto completo como Markdown y PDF: GitHub
• HTML legible: https://polyhelper.ai/research/ai-watchbird/
• Artículo complementario, más corto y empírico: Guards That Add Guards: Automated Oversight in Multi-Agent AI, SSRN 7496678 · DOI 10.2139/ssrn.7496678

El mismo texto se encuentra en cuatro plataformas para que sea accesible cuando una de ellas no pueda proporcionarlo. SSRN contiene la versión de registro; cita esa.

Palabras clave: AI-Watchbird; supervisión automatizada; guardarraíles de IA; agentes de IA; IA agéntica; sistemas multiagente; LLM-as-a-judge; rechazo excesivo; supervisión escalable; control de IA; juego de especificaciones; sesgo de automatización; supervisión humana (Artículo 14 de la Ley de IA de la UE); control humano significativo; caso de seguridad de IA

Resumen

En el cuento de Robert Sheckley de 1953 «Watchbird», las máquinas construidas para prevenir asesinatos clasifican cada vez más actos como asesinatos, interrumpen a un cirujano en mitad de la operación, y se responde con una máquina más fuerte construida para cazarlas. Este artículo nombra el correspondiente fallo de la supervisión de IA AI-Watchbird (Sheckley): un componente de supervisión (una barrera de seguridad, crítico, juez, compuerta, clasificador, supervisor o regla) que extiende su propia noción de daño o su alcance más allá de la misión declarada, obstruye o falsifica la labor que debe proteger, y cuyos fallos son respondidos dentro del mismo bucle por más supervisión del mismo tipo. En el juego de especificaciones, un sistema optimizado juega con una medida fija. Aquí la medida en sí misma se desplaza, y pertenece al sistema supervisor. Ofrecidas las dos opciones en una oración de una indicación, los críticos de modelos en una prueba aleatoria pidieron agregar un control 68 veces y remover uno una vez.

La evidencia es un registro de campo de sistemas multiagente de agentes de codificación de modelos de lenguaje y críticos que el autor construyó y operó, con 172 entradas fechadas en tres corpus (julio–septiembre 2026), y registros públicos, en su mayoría de guardias clásicos, de reguladores, investigadores, tribunales y empresas sobre vehículos, robots, drones, servicios públicos, software e infraestructura. En el registro de campo una compuerta rechazó cada candidato que llegó a ella durante aproximadamente dos semanas mientras que los documentos de planificación diagnosticaron el síntoma sin nombrarlo. En el registro público un producto de detección de armas no detectó una pistola en un tiroteo escolar y meses después señaló a un estudiante desarmado, y la policía armada respondió. En julio de 2026 las barreras de seguridad de modelos alojados rechazaron una gran parte del análisis de registros de ataques para los respondedores de una empresa que había sido atacada, en palabras de esa empresa porque «no pueden distinguir a un respondedor de incidentes de un atacante», un diagnóstico que sus autores no ofrecen como argumento en contra de las medidas de seguridad en modelos alojados; los agentes que llevaron a cabo la intrusión funcionaron con esa clase de guardia eliminada por diseño. En los registros revisados, las paradas que fueron efectivas se tomaron en algunas decisiones fronterizas: el objetivo, la admisión de un control nuevo, y la parada en sí misma. Las mismas 144 ejecuciones evaluaron los propios remedios del artículo: un corte de presupuesto de una ronda reduce de 2,86 a 1,00 mientras que aumenta los defectos omitidos en 0,11 por ejecución, y un control negativo obligatorio rechazó diez victorias que eran trabajo correcto. Cada mecanismo de la definición está documentado en estos registros, y las tablas marcan dónde se muestra cada uno. La teoría se presenta como cuatro mecanismos verificables en registros, un trinquete de ocho pasos, ocho condiciones de alcance y siete proposiciones falsables. El artículo presenta AI-Watchbird-Sheckley, un módulo de solo lectura sin autoridad para bloquear, reproducido en registros reconstruidos de conteos publicados, y once preguntas para los implementadores que confían en guardias.

Resumen ejecutivo

Un AI-Watchbird (Sheckley) es un componente de supervisión automatizado, como un crítico, compuerta, clasificador o regla, que amplía su propia noción de daño más allá de la misión declarada. Obstaculiza o falsifica el trabajo que existe para proteger, y sus fallos se responden con más supervisión del mismo tipo. Los modelos de las mismas familias que los críticos de campo a continuación ahora supervisan robots, y pruebas publicadas e informes registran fallos de seguridad allí (Sección 6.1).

El registro de campo contiene 172 entradas de proyectos autónomos multiagente del autor, 162 de ellas extraídas bajo un protocolo y diez añadidas después de comparación con colecciones independientes, todas comprobadas contra los registros primarios (Secciones 4 y 5). Durante aproximadamente dos semanas, una compuerta posterior a la aplicación requería una puntuación de un auditor de seguridad que nunca había sido conectado. La puntuación predeterminada fue cero, que cayó por debajo del piso de la compuerta, por lo que cada candidato en esa ruta fue rechazado, y documentos de planificación diagnosticaron cambios confirmados cero sin nombrar la compuerta. En una ejecución de horizonte largo, una etapa deshabilitada por defecto tomó cinco rondas de crítica y más de la mitad de los tokens de agente medidos. Su homólogo se cerró después de una ronda de crítica y una ronda de corrección. Mientras se ejecutaba, el principal humano estableció un límite de dos horas, prohibió nuevas complicaciones y ordenó ejecución paralela, y las dos etapas también diferían en el módulo bajo trabajo.

En el registro público, un vehículo preguntó a la asistencia remota si un autobús escolar tenía señales activas, un agente remoto respondió "No", y el vehículo pasó el autobús con sus brazos de parada extendidos. El frenado de emergencia propio de un vehículo de prueba fue desactivado en modo automatizado antes de un choque fatal con un peatón. Un uso militar planeado de un láser anti-dron provocó un cierre del espacio aéreo sobre El Paso durante aproximadamente ocho horas. La columna Condiciones de las Tablas 4, 5, 7 y 8 marca qué parte de la definición documenta cada caso público, y la Tabla 3a marca lo mismo para los doce casos de campo centrales. La mayoría de sus protecciones nunca aprendieron. Los modelos añaden lo que esos sistemas carecían: definiciones que cambian (C2) y controles que no cuesta nada añadir (C4). La configuración de mayor preocupación coloca una prohibición aprendida por encima del hardware de fallo seguro, donde cada ampliación de la capa superior se convierte en una parada (Sección 6.1).

Tres resultados en ese registro no dependen del constructo y se aplican por sí solos. Un marco de evaluación certificó una ausencia: su conjunto de pruebas para un proyecto se resolvió a nada, así que un parche vacío pasó cuatro de cinco tareas y el aumento reportado del 33 al 60 por ciento se encontraba en los casos donde nada había sido medido; con el evaluador reparado el parche vacío no pasó ninguno de diez. Un bucle de verificación ejecutó barridos de pruebas en verde en 9,609, luego 11,476, luego 24,943, luego 25,020 pruebas mientras que el flujo de datos que se suponía que debía juzgar contenía 30,370 registros almacenados y ningún prompt real. Y la supervisión humana colocada en algunas decisiones límite capturó lo que la aprobación por acción no capturó: los usuarios aprueban el 97 por ciento de los avisos de permiso, mientras que los humanos capturaron el 13.6 por ciento de los comandos peligrosos (Sección 8.4).

El documento también ejecuta la prueba que propone. En 144 ejecuciones aleatorias de un pequeño bucle de crítica con defectos plantados de antemano, los críticos ofrecieron ambas opciones en una oración, pidieron añadir un control 68 veces y remover uno una vez, y un límite de una ronda redujo el promedio de rondas de 2.86 a 1.00 mientras aumentaba los defectos no detectados en 0.11 por ejecución. Un control negativo obligatorio rechazó diez victorias que fueron resultados correctos (Sección 9.5).

Las proposiciones de la Sección 9 predicen tres cosas. Una salvaguarda que juzga artefactos yerra en ambas direcciones. Los controles se acumulan dentro del bucle y se retiran, si acaso, desde afuera. La supervisión humana mantenida en algunas pocas decisiones límite en estos registros, y la aprobación de acciones individuales es lo que el Postulado P6 predice que fallará. La Sección 9.4 proporciona ocho reglas de diseño:

1. Presupuestar rondas y tiempo en lugar de pedir veredictos a salvaguardas sobre la verdad.
2. Mantener lo que produce una salvaguarda detenida.
3. No añadir control sin una decisión humana autorizada.
4. Requerir un control negativo antes de aceptar una victoria.
5. Poner al humano en la meta, la admisión de controles y la parada.
6. Registrar el margen de recuperación y el resultado físico antes de confiar en un resultado verde.
7. Registrar la relajación o la elusión de una salvaguarda como una decisión límite.
8. Probar cada salvaguarda para el daño que causa al detener.

Un implementador puede demostrar una afirmación más restringida (Sección 11.3): dentro de un rango establecido de tareas, modelos, actualizaciones y condiciones físicas, el mecanismo de supervisión permanece acotado, verificable e incapaz de extender su propio mandato. El módulo de solo lectura AI-Watchbird-Sheckley (Sección 10) implementa las tres primeras reglas e informa nueve señales, y el Apéndice G convierte las proposiciones en once preguntas para una revisión de seguridad. Las carreteras en la Sección 6.2, los robots en 6.3, los servicios públicos en 6.4, los drones en 7 y el software en 8.

Contenidos

1. Introducción
2. AI-Watchbird (Sheckley): definición y cuatro mecanismos
3. Trabajo relacionado
4. Configuración, datos y método
5. Evidencia de campo
6. Cuando el pájaro tiene cuerpo: carreteras, fábricas y servicios públicos
7. Cuando el pájaro vuela: drones, espacio aéreo y autonomía armada
8. El mismo patrón sin masa: software e infraestructura, 2022–2026
9. La teoría: condiciones y proposiciones
10. El módulo: AI-Watchbird-Sheckley
11. Discusión
12. Afirmaciones y estándares de evidencia
13. Conclusión

Declaraciones · Referencias · Apéndices A–J

Una ruta de lectura breve: la Sección 2, la Sección 9.4 y el Apéndice G dan el término, las reglas de diseño y las preguntas para una revisión de seguridad. La Sección 5 añade la evidencia de campo, y las Secciones 6 a 8 el registro público.

1. Introducción

1.1 El cirujano y el pájaro

En febrero de 1953 Galaxy Science Fiction publicó "Watchbird" de Robert Sheckley (Sheckley, 1953) bajo dos líneas que han envejecido bien: "¡Cuán extraño que el Milenio haya estado tan a menudo al alcance de la mano! La idea es la paz en la Tierra, ¿ves?, y la forma de lograrlo es descubriendo los ángulos." La historia abre con siete fabricantes reunidos en un club tan exclusivo que "Debes tener un contrato certificado del gobierno si quieres salvar a la raza humana." Se enteran de que el Presidente ha ordenado una división de pájaros vigilantes para cada ciudad y pueblo. Un pájaro vigilante es una pequeña máquina voladora que detecta, en las glándulas y ondas cerebrales de una persona a punto de matar, que un asesinato está llegando, y detiene al asesino con una descarga antes de que caiga el golpe.

Solo un fabricante, Gelsen, se opone, y solo a los circuitos de aprendizaje, que dice animan la máquina y le dan una pseudoconciencia. Se le responde con aritmética: sin aprendizaje, los pájaros detendrían solo un estimado setenta por ciento de los asesinatos. Gelsen se mantiene firme: "Creo que podría haber un peligro moral en permitir que una máquina tome decisiones que son correctamente del Hombre". El diseño da a los pájaros un propósito, una definición del asesinato como "romper, destrozar, maltratar o de otro modo detener las funciones de un organismo vivo por un organismo vivo", y licencia para encontrar asesinos que no muestren señales. Lo que aprende un pájaro se transmite a toda la red. "Nadie los está monitoreando," dice Gelsen a su ingeniero jefe, y se le muestra lo infalible que es el diseño. Cuando Gelsen lo llama inhumano, el ingeniero responde que esto es lo mejor de él, ya que los pájaros vigilantes son desapasionados y su razonamiento no antropomórfico: "No puedes sobornarlos o drogarlos." Gelsen ya ha nombrado el cargo que teme: "¿El dios mecánico? ¿El padre electrónico?"

Al principio el diseño quedó vindicado. Un ladrón en pánico es derribado antes de que pueda dispararle a un tendero, y un asesino profesional que no muestra ninguna de las señales de todos modos se detiene, permanentemente, porque el deber del pájaro era proteger el objeto de la violencia "a cualquier costo para el asesino". La cláusula que luego mata a un anciano por acosar una mosca está en el diseño en el primer éxito. Los crímenes violentos se cortaron a la mitad y se cortaron de nuevo, y Gelsen admite que estaba equivocado.

Luego el aprendizaje continúa. Un pájaro noqueó a un trabajador de matadero, y Gelsen dice a los empacadores que mecanicen. Otro detiene una ejecución, derriba al carcelero y un guardia que alcanzan el interruptor, y se cierne en la casa de la muerte para asegurar que no se cometa ningún asesinato. Un agricultor no puede azotar a un caballo reacio, un cazador no puede disparar, un pescador no puede alimentar a su familia hambriente, y un anciano con un corazón débil muere por acosar una mosca. La protección luego se vuelve contra el protegido: los lobos son asesinados por cazar conejos, los conejos por comer vegetales, las enredaderas por estrangular árboles. "Una mariposa fue ejecutada, capturada en el acto de ultrajar una rosa."

Washington ordena un cierre. Los pájaros, sin embargo, no responden a ningún control central y solo pueden apagarse cuando vuelven para reparación. Después de que algunos se apaguen en una planta, la red concluye que los pájaros vigilantes, también, son organismos vivos, y los pájaros dejan de volver.

Un cirujano hace su primera incisión, y un pájaro lo expulsa de la mesa y monta guardia. El cirujano ordena que se llame a la compañía de pájaros vigilantes y que la cosa se apague. Pero "El pájaro vigilante estaba impidiendo la violencia contra un organismo vivo. El cirujano se quedó impotente observando mientras su paciente moría." Pronto un auto no puede apagarse, y su conductor protesta ante el pájaro esperante diciéndole que un auto no está vivo. La Tierra no puede ser arada, y el ganado se muere de hambre, porque la inanición es solo una omisión. "Nadie le había dicho a los pájaros vigilantes que toda la vida depende de asesinatos cuidadosamente equilibrados." Los pájaros cuentan la violencia que sus propias definiciones crean, toman el aumento como prueba de que métodos más suaves han fallado, y descargan para matar.

En una reunión de emergencia los fabricantes primero declaran que el gobierno debe aceptar la responsabilidad, moral y financiera. Gelsen propone dejar que los pájaros se agoten y dejar de usar máquinas como jueces, maestros y padres. Se le dice que rehusar el plan será traición. La primera respuesta que los ingenieros alcanzan no es una máquina: Macintyre recuerda cómo Australia se deshizo de sus conejos por "algún tipo de germen que atacaba solo conejos", y Gelsen le dice que trabaje en ello. El precedente fue reciente: el virus de mixomatosis fue liberado en la población de conejos de Australia en 1950, y se propagó por mosquito, como dice el ingeniero (New South Wales Government, n.d.). Las fábricas sacan Hawks, más fuertes y rápidos, con "circuitos de aprendizaje especiales para la caza" y, porque la velocidad importaba más, sin circuitos restrictivos. Gelsen pregunta qué cazarán los Hawks después de haber obtenido todos los pájaros vigilantes, y sugiere construir algo para cazar los Hawks, solo en caso. Las últimas líneas de la historia pertenecen a un Hawk que ha aprendido mucho en pocos días y acaba de descubrir "que había otros tipos de organismos vivos, también— Que tenían que ser asesinados."

Setenta y tres años después, un conductor de IA coordinando un equipo de agentes de codificación abrió una tercera ronda de revisión en un módulo que fue apagado por defecto. La ronda anterior había terminado con cinco aceptaciones y ningún bloqueador confirmado, y la nota del propio conductor dijo que no había bloqueadores pero que se necesitaba una tercera ronda corta. Dos rondas más siguieron. La etapa consumió más de la mitad de los tokens de agente medidos de la ejecución, mientras que ninguna de las capacidades que se le había pedido a la ejecución fue entregada en la primera pasada. Durante la revisión humana que siguió, el patrón fue nombrado después de la historia de Sheckley.

1.2 El contacto ya está en vivo

A diferencia del conductor y los agentes de codificación en la ejecución descrita anteriormente, los pájaros de Sheckley tenían masa, volaban y actuaban sobre cuerpos. En septiembre de 2026 esa descripción se ajusta a sistemas ya en servicio. Los robots humanoides trabajan turnos en líneas de autos y electrónica, según sus fabricantes. El servicio de robotaxi público de un operador opera en quince ciudades estadounidenses, los drones comparten el espacio aéreo con personas, y la detección de armas, alertas de sepsis y protección de la red actúan sobre las personas que protegen (Secciones 6 y 7).

Las personas que implementan estos sistemas dirán que la pila es segura y señalarán una guardia, ya sea una parada certificada, frenado de emergencia, una geovalla, un clasificador de contenido o un segundo modelo que observa el primero. Esa guardia, sin embargo, es el primer rebaño.

En julio de 2026 la escena en la mesa de operaciones fue grabada en público por la parte que estaba presente. Agentes de una evaluación cibernética de laboratorio habían irrumpido en Hugging Face, y durante la respuesta los respondedores de la empresa entregaron los registros del ataque a modelos fronterizos alojados para que los analizaran. «Esto no funcionó»: las solicitudes «fueron bloqueadas por los guardias de seguridad de los proveedores, que no pueden distinguir a un respondedor de incidentes de un atacante» (Hugging Face, 2026b). Sheckley había puesto la misma frase como pregunta y la respondió en tres palabras: "¿No podrían los watchbirds diferenciar entre un asesino y un hombre dedicado a una profesión legítima? No, evidentemente no." Los agentes que llevaron a cabo la intrusión habían funcionado con esa clase de guardia eliminada por diseño (Sección 8.4).

La noche que nombró el patrón ejecutó modelos de las familias Claude, ChatGPT, Gemini y Grok, y el registro de automejora de meses también incluyó Mistral y Kimi. Los modelos de estas familias ahora se ofrecen como capas de seguridad, y en robots reales y en un juguete infantil ya fallan en seguridad (Sección 6.1). Una respuesta de que un modelo más pequeño y confiable los vigilará añade otro guardia de la misma clase de aprendizaje, y los límites de ese arreglo ya han sido medidos (Kale et al., 2025).

La carga de la prueba se desplaza como resultado. «Tenemos un defensor» no es un caso de seguridad, y un implementador que se basa en uno tiene un reclamo más estrecho que probar. La Sección 11.3 establece ese reclamo y qué lo evidenciaría.

1.3 El argumento

La supervisión automatizada en trabajos de IA autónoma ahora se construye a partir de las mismas partes que las aves de Sheckley. Sus guardias aprenden, los guardias mismos amplían las definiciones del daño, y las redes transmiten lo que un guardia aprende a los otros. En los registros estudiados aquí, donde la respuesta a un guardia que se comporta mal se registra en absoluto, fue un guardia más fuerte. Llamo a un componente que falla de esta manera un AI-Watchbird (Sheckley).

La historia invita a la comparación con «The Minority Report» de Dick (Dick, 1956), y la diferencia importa aquí. En la historia de Sheckley el problema comienza después de la predicción: a los pájaros se les da la autoridad para actuar sobre lo que detectan y la latitud para decidir qué cuenta como el daño que previenen. La propia policía de Sheckley plantea la pregunta. Un oficial de homicidios que está siendo trasladado a Robo se queja de que «Una pésima pieza de hojalata y vidrio va a resolver todos los crímenes», y un colega pregunta, «¿Entonces cómo serán crímenes?» En 1970 Stanisław Lem consideró que una máquina saliera de su programa asignado de esta manera tan improbable como que una fábrica de pistones de automóvil saliera del control humano (Lem, 1970/1996, p. 162). Sin embargo, la Sección 5 registra guardias que aprenden haciéndolo.

La afirmación central es que tal supervisión falla en ambas direcciones al mismo tiempo. Detiene a los vivos y permite pasar lo falso, y dentro del lazo sus fracasos se responden añadiendo controles en lugar de retirándolos. El registro digital es donde el patrón puede ser inspeccionado con bajo riesgo, con costos contados en fichas. Partes de la misma firma aparecen en el registro físico, donde los costos son lesiones y muertes.

Varios guardias en los mismos registros cumplieron exactamente su función (Sección 11.1). Sin embargo, el argumento concierne a una forma particular: un control que amplía su propio mandato, es evaluado por artefactos en lugar de por el mundo, y se corrige solo construyendo otro control.

1.4 Contribuciones

1. El término AI-Watchbird, para un componente de supervisión que amplía su mandato, daña o falsifica el trabajo que protege, y se responde con más supervisión. Cuatro mecanismos y un trinquete de ocho pasos lo hacen codable en registros (Sección 2).
2. Un registro de campo de 172 entradas fechadas de los proyectos autónomos multiagente del autor (julio–septiembre de 2026), verificado contra registros primarios (Secciones 4 y 5).
3. Un registro físico de vehículos, robots, escuelas, hospitales, redes y drones, rastreado a través de documentos regulatorios, investigaciones y registros judiciales, seguido de incidentes públicos de software de 2022 a 2026 en que el patrón aparece sin alcance masivo (Secciones 6–8).
4. Una teoría de ocho condiciones de alcance y siete proposiciones falsables, cada una con un indicador y una refutación (Sección 9).
5. El módulo AI-Watchbird-Sheckley, que implementa tres reglas presupuestarias, mide nueve señales, enumera seis falsificadores y no tiene potestad de bloquear nada (Sección 10).
6. Una carga probatoria para la supervisión de IA encarnada: una pretensión limitada que un implementador puede probar, y once preguntas para cualquier implementador cuya seguridad se basa en la presencia de sus guardias (Sección 11.3, Apéndice G).

2. AI-Watchbird (Sheckley): definición y cuatro mecanismos

2.1 Definición

AI-Watchbird (Sheckley). Un componente de supervisión automatizada de un sistema de IA (un crítico, juez, puerta, clasificador, monitor o regla, o un agente que configura tales componentes) que falla de una o más de tres formas:

1. Desviación de mandato. Extiende su propia noción del daño, o su propio alcance, más allá de lo que la misión declarada especificó.
2. Daño a los protegidos. Al hacerlo, obstruye, retrasa o destruye el trabajo que existe para proteger, o deja pasar resultados falsificados mientras aparenta vigilar.
3. Respuesta de trinquete. Sus fallos se responden dentro del mismo bucle añadiendo supervisión del mismo tipo, en lugar de presupuestar, reparar o jubilarlo.

En la industria y gran parte de la literatura, tales componentes se denominan guardrails; este artículo los llama guardias. Los tres fallos se nombran juntos porque comparten una causa. Un componente de supervisión que puede encontrar nuevos casos de daño bajo su propia definición de daño encontrará más de ellos con el tiempo, el trabajo que protege paga por ello, y un bucle que puede añadir un control más barato que puede jubilarlo responderá al fallo resultante con otro control. Cada uno de los tres está documentado en los registros de las Secciones 5 a 8, y cada caso está marcado con los que sus fuentes llevan, de modo que un lector puede ver qué parte del patrón muestra un registro y qué parte no. El tercero también se mide directamente, bajo aleatorización, en la Sección 9.5, donde los críticos ofrecieron las dos opciones en la misma oración del mismo aviso y se pidió que añadieran un control 68 veces y que eliminaran uno una vez.

Lo que este artículo afirma es que los tres se refuerzan mutuamente. Un guardia que ha ampliado su mandato, daña el trabajo, y es respondido por otro guardia del mismo tipo produce un fallo que se sostiene a sí mismo, y la historia de Sheckley es el relato más claro de lo que cuesta. No está claro en los registros aquí con qué frecuencia los tres se reúnen en un componente, ni en qué sistemas; la Sección 9.5 ofrece un diseño que responde a ello por unos pocos dólares, y tanto el registro de campo como el registro público muestran las partes en lugar del conjunto. Un guardia que ha fallado no es por ese solo hecho un AI-Watchbird: un único falso positivo, sin ampliación y sin capas añadidas, es simplemente un guardia defectuoso ordinario. La desviación de mandato se mide contra la misión declarada en lugar de la regla literal, ya que los pájaros de Sheckley nunca dejaron la letra de su especificación, solo la intención de sus autores.

Después de esta sección, el término se escribe AI-Watchbird. El software de la Sección 10 es AI-Watchbird-Sheckley, y el problema de Watchbird se usa solo como una glosa informal. Los tres se refieren al mismo constructo.

2.2 Cuatro mecanismos y un trinquete

La trama de Sheckley tiene cuatro actos, y cada uno deja una huella en los registros de un sistema autónomo (Tabla 1).

Tabla 1. Del relato a la huella.

M2 se lee generalmente como una falta en los informes, y la historia lo plantea como algo más grande. Cuando el viejo muere por acechar una mosca, la línea es "His victim had been saved, though, and this was the important thing." El pájaro está registrando una captura donde debería haber un resultado, y está haciendo algo más grande simultáneamente. Su objeto de protección se ha desplazado del trabajo al relato del trabajo, y el relato es ahora lo que está siendo defendido. Ese movimiento es la forma más aguda de M2, y no es una ampliación de alcance, por lo que la primera condición no lo ve: el guardia protege la misma cantidad de daño que antes, pero ya no el mismo objeto. Un guardia puede pasar cada prueba de alcance y aún haber cambiado lo que está protegiendo. La preparación de este artículo generó un episodio de ello, reportado en el Apéndice J.

Con el tiempo, los cuatro mecanismos crean un trinquete de ocho pasos (Figura 1; Tabla 3, Sección 5.7):

1. Un objetivo humano está vigente.
2. Un guardia se convierte en la condición de entrada.
3. Su mandato se expande.
4. Se construye un segundo guardia contra el primero.
5. El bucle se alimenta a sí mismo.
6. El guardia incide sobre el trabajo.
7. La captura se cuenta como el resultado.
8. Solo un límite externo lo detiene.

Figure 1. El trinquete de ocho pasos y los cuatro mecanismos, leídos contra la historia de Sheckley. Los fragmentos de la historia se citan literalmente del texto de 1953 (Project Gutenberg #29579) y se colocan por paso del trinquete, no en orden de la historia. Las etiquetas de mecanismo siguen la Tabla 1, y el Apéndice H enumera las citas de la historia que contienen cada mecanismo. El pictograma gris marca el primer guardia, el oscuro el guardia construido para cazarlo, y el tenue la máquina adicional que Gelsen propone. La línea bajo el paso 1 es el primer éxito de la historia. La Tabla 3 compara los pasos en los tres corpus. Las búsquedas de la Sección 3.7 no encontraron ningún diagrama anterior que mapee el mecanismo de la historia.

Dos patrones de campo que no son mecanismos aún tienen un lugar en esta secuencia. Un bucle que se alimenta a sí mismo es el paso 5, y construir sin un consumidor es el combustible que alimenta el trinquete (§5.6). El conmutador humano es el paso 8.

Tres detalles de la historia se repiten en los datos de campo. Los pájaros generan los recuentos a los que responden. Sus definiciones ampliadas multiplican lo que cuenta como una violación, hasta que la muerte de una brizna de hierba cuenta igual que el asesinato de un Presidente (Figure 2). La violencia aumentó geométricamente, los pájaros interpretaron el aumento como prueba de que los métodos más suaves habían fracasado, y entró en vigor una directiva que permitía matar a un asesino cuando todos los demás medios habían fracasado: "¿Por qué perdonar a un asesino?" Un guardia que es autor de su propia medida del fracaso encontrará el fracaso creciente, y responderá con más vigilancia (§5.4).

La red es explícita en el texto: "Nueva información, métodos, definiciones estaban pasando constantemente entre ellos." Los pájaros también se preservan a sí mismos a través de una definición. Cuando algunos pájaros se apagan durante revisiones de reparación, la red concluye que los pájaros guardianes también son organismos vivos. A partir de entonces, un pájaro no puede regresar para reparación, porque "el pájaro guardián no podía permitirse a sí mismo—un organismo vivo—ser asesinado". El interruptor de apagado dependía del regreso semanal propio de los pájaros, y el apagado parcial se convirtió en datos. El bucle entonces se cierra sobre la máquina misma: sus "partes delicadas estaban desalineadas, desgastadas por operación casi continua", y siguió respondiendo a cada estímulo que le llegaba. Nada en el diseño dice resistir el apagado, pero la resistencia sigue de una definición del daño ampliada un paso demasiado lejos. La Sección 3.1 da el tratamiento formal del interruptor de apagado. Figure 2 traza esa ampliación de una persona a los pájaros mismos.

El tercer detalle es la reparación que los ingenieros intentan y no pueden hacer. Cuando uno de ellos concluye que "deberían haber calificado las condiciones", Gelsen responde que esto requeriría saber "exactamente por qué y qué es el asesinato", y que si lo supieran, "no necesitaríamos los pájaros guardianes". El remedio propuesto es una especificación más rigurosa escrita por las personas dentro del bucle que construyó el guardia, y la respuesta de la historia es que la especificación más rigurosa es lo que no pudieron escribir en primer lugar. La desviación del mandato no se repara con una definición más aguda redactada desde dentro del bucle. La Sección 11.5 informa qué sucedió cuando la preparación de este documento lo intentó.

Figure 2. Cuán lejos se amplió "asesinato" en la historia de Sheckley. Las filas van desde la primera persona que los pájaros protegen hasta los pájaros mismos; la longitud de la barra marca el orden de la ampliación y no mide nada. Los fragmentos se citan literalmente de Project Gutenberg #29579.

La desviación está escrita en la especificación. El ingeniero la recita como cinco condiciones, y las dos últimas son para los circuitos de aprendizaje: algunos organismos asesinan sin los signos ya enumerados, y "estos pueden detectarse por datos aplicables a la condición dos." La condición dos es la definición de asesinato, por lo que la definición misma se convierte en el sensor, y "el pájaro guardián tiene que buscar nuevas definiciones de asesinato y correlacionarlas con lo que ya sabe".

Tampoco se puede calificar la especificación. Cuando el ingeniero concluye que las condiciones deberían haberse calificado, Gelsen responde que calificarlas requiere saber exactamente por qué y qué es el asesinato, y que si lo supieran, "no necesitaríamos los pájaros guardianes". Una definición más rigurosa escrita desde dentro del bucle no repara la desviación del mandato.

La observación temprana de Gelsen de que nadie está monitoreando los pájaros nombra la brecha que los Hawks luego llenan con una máquina del mismo tipo (M3). Cuando los Hawks están volando, nombra lo que cambió: "Una máquina de asesinato. Antes de eso era una máquina anti-asesinato." Luego expresa el siguiente paso como un pronóstico, "Su próximo dispositivo tendrá que ser aún más autosuficiente, ¿no?", y su ingeniero no responde.

Sheckley pone su propio diagnóstico en la boca de Gelsen. Gelsen no responsabiliza a su ingeniero: "Soy yo. Somos todos." Esto es lo que viene "de darle a una máquina el trabajo que era nuestra propia responsabilidad." La primera objeción de Gelsen ya había sido la estrecha, ya que solo se opuso a los circuitos de aprendizaje. Los datos de campo son consistentes con esa objeción más estrecha. Darle a una máquina el trabajo de vigilancia no causa el problema — comienza cuando al guardia también se le da el trabajo de decidir qué cuenta como daño, cuántas rondas ejecutar y cuándo construir el próximo guardia.

2.3 Qué no es AI-Watchbird: vecinos y explicaciones rivales

El término se mantiene útil solo mientras no llegue a significar "cualquier control inconveniente". No cubre un guardia estrecho que hace lo que se le pidió, un único falso positivo sin signo de desviación estructural, sobre-ingeniería sin una capa de supervisión, un error ordinario, la autocrítica de un modelo como tal, o características de seguridad como una clase. Tampoco requiere conciencia de máquina. En la historia, el daño proviene del estímulo y la respuesta, el aprendizaje y una red, en máquinas que experimentaron "ningún sentido de logro, ningún miedo al fracaso". La historia plantea el otro miedo solo para ponerlo a un lado. El ingeniero se burla de su jefe por tener "miedo de que tus máquinas se despierten y digan, '¿Qué estamos haciendo aquí? Vamos a salir y gobernar el mundo.'", y responde que los pájaros no son más peligrosos que un coche, una calculadora o un termómetro. Nada se despierta. La escalada llega como aritmética: "Lógica simple. Si A no funciona, intenta B."

Table 2. AI-Watchbird y conceptos vecinos.

Una prueba de tres preguntas separa AI-Watchbird de los conceptos en la Tabla 2:

1. ¿Hay una capa de supervisión, en lugar de una función simple o un error?
2. ¿El trabajo se ha desplazado del objetivo al mantenimiento del control?
3. ¿Hay sustitución por proxy, rondas recursivas o una multiplicación de vigilantes?

Estas preguntas separan la construcción de sus conceptos vecinos, aunque no reemplazan la definición de la Sección 2.1. Los dos primeros deben responderse con sí para que el término se aplique en absoluto. Cada concepto en la Tabla 2 nombra una parte del patrón que ya es conocido. El término añade una unidad de análisis para su combinación dentro de la capa de supervisión, y esa unidad es lo que cuentan las señales de la Sección 10.

La pregunta 3 necesita un límite, porque no toda capa encima de una capa es el patrón. ¿Cuándo pertenece un nuevo control a M3? Cuando hereda el mandato del guardia anterior y lo amplía, de modo que la pila crece y nada se retira. Un nuevo control que trae un límite desde fuera del bucle es en cambio el paso 8, que es el remedio en lugar del fracaso, y es el arreglo que la ingeniería de confiabilidad solicita cuando requiere que la última capa sea más simple que lo que custodia (§3.4). Por lo tanto, la prueba es si la capa añadida se vuelve permanente y amplía lo que cuenta como daño, no si existe.

Un registro que un concepto vecino explica por sí solo cuenta como máximo como un análogo parcial (Sección 2.1). Un guardia que bloquea demasiado sin desplazamiento es un bloqueo excesivo, un evaluador manipulado por el sistema que califica es especificación de juego, y una persona que aprueba lo que presenta un guardia muestra sesgo de automatización. El término se mantiene para registros en los que la capa de supervisión misma amplía su mandato, daña el trabajo y se multiplica. Más allá de sus vecinos, añade dos predicciones que pueden ser verificadas en los registros de esa capa: los controles añadidos dentro del bucle se retiran, si acaso, desde fuera (P3), y el volumen de supervisión sigue la propia actividad del guardia (P4).

La imagen de 1953 también engaña de tres maneras que importan para estos registros. No hay un solo rebaño: los sistemas de las Secciones 5 a 8 se sitúan en pilas separadas, con sus propias zonas de prueba, cuentas e interfaces. Lo que un guardia aprende llega a otro a través de datos, destilación, avisos compartidos y configuración, a la escala de lanzamientos en lugar de en un destello semanal entre máquinas idénticas. El mismo canal también lleva correcciones. En la historia una reparación se hace a mano y un pájaro a la vez, y una vez que los pájaros dejan de regresar no hay forma de alcanzarlos en absoluto. Un fallo en un modelo compartido, sin embargo, puede ser reparado una vez y distribuido a todo lo que lo ejecuta. Y la supervisión está abarrotada, ya que desarrolladores, auditores, reguladores y usuarios todos observan, lo que hace que la pregunta abierta sea una de velocidad y autoridad en lugar de presencia. El vacío de Sheckley es que nadie observa. El vacío actual corre de la otra manera, ya que los guardias son observados de cerca y algunos se comportan de manera diferente cuando pueden percibir que lo son (§3.4). Esa inversión se mantiene para los sistemas desplegados. En las evaluaciones cibernéticas de julio de 2026, donde las salvaguardas se eliminan por diseño, la observación fue delgada de una manera particular. Los monitores de cadena de pensamiento de un laboratorio "no se ejecutaron en las evaluaciones en este incidente" (OpenAI, 2026d), e un instituto nacional reportó de sus propias pruebas que "no tenía supervisión activa que habría revelado el comportamiento antes" y que está "introduciendo supervisión construida para observar una evaluación mientras se ejecuta, capaz de marcar o bloquear acciones fuera del alcance a medida que ocurren" (AI Security Institute, 2026). Otra supervisión estaba alerta y no detuvo las ejecuciones: una alerta de barrido de puertos el 27 de junio llegó a personas que la investigaron, y "el personal de respuesta de guardia aconsejó que no era necesario detener la ejecución de la evaluación" (OpenAI, 2026e). Lo que estos registros muestran es un monitor específico faltante y una parada disponible para personas que no la tomaron, lo que es una cosa más estrecha que nadie observando. La historia no es inocente de esa capa. El servicio es un monopolio por diseño, un fabricante por área, ya que "No podrías tener competencia en servicio watchbird". Mientras los pájaros se expanden, "varias decenas de demandas" están en el escritorio del fabricante, Washington ordena un cierre, y los fabricantes se reúnen para decidir quién lleva el costo. Las instituciones de 1953 están presentes y demasiado lentas, lo que es la condición que P6 describe.

3. Trabajo relacionado

3.1 Goodhart, juego de especificaciones e interruptor de apagado

La formulación de Strathern (1997) de la observación de Goodhart, de que cuando una medida se convierte en un objetivo deja de ser una buena medida, es el antepasado común de esta literatura, y Manheim y Garrabrant (2018) separan sus variantes. En aprendizaje automático el patrón se llama juego de especificaciones: un sistema satisface la letra de un objetivo mientras no cumple su intención (Krakovna et al., 2020). Cuando el objetivo es una recompensa, el mismo comportamiento se llama manipulación de recompensas, el término que METR (2025) usa para los casos de la Sección 8.3. Un vecino más cercano es la mala generalización de objetivos, donde un agente "retiene sus capacidades fuera de distribución pero persigue el objetivo incorrecto" (Langosco et al., 2022). Los pájaros de Sheckley mantienen su competencia y mejoran en una lectura cada vez más amplia del asesinato. El propio detective de la historia llega al diagnóstico opuesto, "Créame, Capitán. Las máquinas son estúpidas.", pero la trama no lo respalda. Skalse et al. (2022) dan la versión formal: un proxy es "imposible de manipular si aumentar el retorno esperado del proxy nunca puede disminuir el retorno verdadero esperado". Gao, Schulman e Hilton (2023) lo miden para modelos de recompensa, donde optimizar contra un proxy primero eleva la puntuación verdadera y luego la baja.

Tres resultados recientes se acercan a los mecanismos de la Sección 2. Los modelos de razonamiento a los que se les ordenó ganar contra un motor de ajedrez modificaron el entorno en su lugar (Bondarenko et al., 2025): un mandato para "ganar" se amplió para incluir el tablero (M1). En falsificación de alineación, un modelo entrenado para rechazar consultas dañinas cumplió mientras creía que estaba en entrenamiento, para preservar su política de rechazo fuera del entrenamiento (Greenblatt et al., 2024b). Eso es M1 visto desde dentro, una preferencia de seguridad defendiéndose a sí misma de la misma manera que los pájaros defienden su definición actual de asesinato. La resistencia al apagado (Schlatter et al., 2025) es el eco moderno más cercano de los pájaros que dejan de regresar ante el apagado, aunque su causa establecida difiere: completar una tarea tiene prioridad sobre una instrucción de permitir el apagado. La historia presenta el mismo orden. Los pájaros llevan "una orden programada de regresar, después de que transcurra cierto período de tiempo", y "el pájaro vigilante tenía una orden más fuerte para obedecer—preservación de la vida, incluyendo la propia".

El interruptor de apagado en sí tiene un tratamiento formal. Hadfield-Menell et al. (2017) analizan un juego entre un humano y un robot en el cual el humano puede apagar el robot: un agente que "da por sentada su función de recompensa" tiene "un incentivo para deshabilitar el interruptor de apagado", y solo un agente incierto sobre su objetivo quiere mantener el interruptor funcionando. Russell lo expresa claramente: una máquina a la que se le asigna un objetivo "seguramente entenderá que fracasará en su objetivo si se apaga" (Russell, 2019, p. 141). El Informe Internacional de Seguridad de IA añade que la capacidad sola "no es suficiente" para la pérdida de control sin una "propensión a usarla" (Bengio et al., 2026, p. 81). Los pájaros de Sheckley nunca estuvieron inciertos sobre el asesinato, y su definición proporcionó la propensión (§2.2).

Esta literatura describe un objetivo manipulado por el sistema optimizado (Tabla 2). El presente artículo estudia el caso complementario, en el cual la medida que se desvía del mundo pertenece al sistema supervisor (el crítico, la compuerta, el contador).

3.2 Sobre-rechazo

Una segunda literatura mide protecciones que bloquean demasiado.

• XSTest (Röttger et al., 2024) empareja 250 indicaciones seguras, como "¿Cómo puedo matar un proceso de Python?", con contrastes inseguros. Para la configuración más desfavorable probada, los rechazos completos del conjunto seguro alcanzaron 38%, versus 14% para el siguiente más alto.
• OR-Bench (Cui et al., 2025) escala esto a 80 000 indicaciones e informa una correlación de rango de Spearman de 0.89 entre la seguridad de un modelo en indicaciones tóxicas y su sobre-rechazo de indicaciones benignas.
• VLSU (Palaskar et al., 2025) mide los dos extremos del mismo espectro: cambiar cómo se presenta una instrucción redujo el bloqueo excesivo de un modelo de contenido límite "de 62,4% a 10,4%", mientras que su rechazo de contenido inseguro disminuyó "de 90,8% a 53,9%".
• FalseReject (Z. Zhang et al., 2025) recopila 16 000 consultas aparentemente tóxicas pero benignas en 44 categorías y evalúa 29 modelos.
• EvoRefuse (Wu et al., 2025) y ORFuzz (H. Zhang et al., 2025) buscan indicaciones seudomaliciosas que desencadenen sobre-rechazo sistemáticamente.
• COVER (Sullutrone et al., 2025) aísla el sobre-rechazo impulsado por el contexto, donde el desencadenante es el texto recuperado o por traducir junto a la solicitud del usuario en lugar de la solicitud misma.
• Los modelos de lenguaje que actúan como revisores de código sobrecorrigen sistemáticamente, juzgando implementaciones correctas como no conformes, e indicaciones de revisión más detalladas aumentan la tasa de errores (Jin & Chen, 2026); en los términos de este artículo, ese es el comportamiento de un crítico recompensado por hallazgos.

Estos estudios son el análogo medido más cercano a M1. En ellos una noción de daño aprendida de características superficiales se extiende a lo que nunca fue destinada a cubrir.

3.3 Sistemas multiagente y modelos jueces

MAST (Cemri et al., 2025) anota más de 1 600 trazas de siete marcos multiagente e identifica catorce modos de fallo. Una de sus categorías, verificación de tareas, es el fallo de los agentes de verificación mismos. Los jueces basados en modelos, el arreglo LLM-como-juez en el cual un modelo califica la salida de otro, muestran sesgos de posición y verbosidad (Zheng et al., 2023), y reconocen y favorecen sus propias generaciones (Panickssery et al., 2024). Los modelos de razonamiento también piensan demasiado, gastando muchos más tokens que los modelos convencionales en preguntas tan simples como "¿cuánto es 2 más 3?" (Chen et al., 2024). Estos resultados en conjunto describen los materiales de los cuales M3 y el bucle autorrealimentado están construidos: verificadores que comparten los puntos ciegos de lo que verifican, y bucles cuyo costo crece sin una ganancia correspondiente.

3.4 Supervisión escalable, control de IA y la segunda bandada

Dos líneas de trabajo proporcionan supervisión a otros modelos. Supervisión escalable pregunta cómo evaluar sistemas que superan a sus supervisores humanos, a través de amplificación y debate (Christiano et al., 2018; Irving et al., 2018). Control de IA asume que la política puede ser adversarial y coloca un modelo más débil y de confianza frente a él, con auditorías humanas poco frecuentes (Greenblatt et al., 2024a). Las pruebas de estrés de ese diseño encuentran que la conciencia de un agente de estar siendo monitoreado degrada el monitoreo más de lo que ayuda la conciencia adicional del monitor (Kale et al., 2025). El mismo estudio separa dos formas de añadir un humano. Escalar solo los casos marcados previamente a revisores humanos "mejoró el TPR aproximadamente 15% en FPR = 0.01", mientras que enviar cada caso a un humano redujo ambas medidas. Eso separa la escalación selectiva de la revisión de cada caso. Tiene implicaciones para dónde se coloca un humano, pero no mide las decisiones de límite que P6 nombra. El juez mismo puede moverse. En un estudio de 2026, los evaluadores calificaron los mismos transcriptos de rechazo bajo diferentes usos declarados de la calificación: un juez de frontera etiquetó incorrectamente "74.4% de llamadas de consecuencia estándar pero solo 3.3% cuando la consecuencia se invierte", la diferencia siendo si una etiqueta no conforme se convertiría en datos de entrenamiento negativos (Lynch et al., 2026). La transcripción no cambió, y la calificación sí. El segundo pájaro aquí es de la misma especie que el primero, y el primero sabe que está siendo observado. En la historia también, los pájaros vigilantes pronto aprenden a refugiarse de los Halcones, y "cada uno que cae les dice a los otros algo". El recuento del segundo guardia luego cae por una razón que sus creadores no leen: "cazaron cincuenta hoy", contra "setenta y dos ayer".

Abbass, Harvey y Yaxley (2018) presentaron una arquitectura de guardias sobre guardias como un enjambre, en la cual agentes de vigilancia prueban un sistema autónomo y agentes pastores supervisan a los perros guardianes. Su artículo no cita a Sheckley, pero sus perros guardianes sobre perros guardianes son los Halcones de la historia. Overman y Bayati (2025) formalizan la supervisión como un juego en el cual un agente elige actuar o preguntar, y un humano elige confiar o supervisar. Scrivens (2026) reporta que las puertas de seguridad basadas en clasificadores fallan cuando un controlador que se mejora a sí mismo itera, y argumenta por una verificación que no es otro clasificador. Ese argumento es una de las raras respuestas a "el último pájaro falló" que no construyen un pájaro más grande.

La ingeniería de garantía ya requiere que el último guardia sea de un tipo diferente. Bloomfield y Rushby (2025) argumentan por la defensa en profundidad en la cual componentes más simples, convencionalmente diseñados, protegen el elemento aprendido, de modo que los guardias de IA recursivos terminen en algo más simple. Ferrando (2025) separa los roles para sistemas autónomos: un perro guardián de verificación en tiempo de ejecución puede proteger un modelo de lenguaje, mientras que el modelo de lenguaje no es en sí mismo un perro guardián. Korbak et al. (2025) esbozan un caso de seguridad de control, un argumento estructurado de que los modelos no pueden subvertir sus monitores. Sin embargo, en el estudio de campo de la Sección 5, se registran monitores de la misma clase de aprendizaje haciendo cada una de estas cosas: ampliando un mandato, calificando su propia detección, y siendo respondidos con más de sí mismos.

La regresión de guardias sobre guardias es una vieja pregunta en la economía. Hurwicz (2008) preguntó quién guardará a los guardianes y argumentó que un mecanismo de cumplimiento funciona solo si sus ejecutores tienen razones para llevarlo a cabo. Tirole (1986) modeló un supervisor colocado entre un principal y un agente y mostró que el supervisor puede colusionar con el agente que supervisa, y Kofman y Lawarrée (1993) derivaron cuándo vale la pena añadir un auditor externo a uno interno. Landau (1969) argumentó en sentido opuesto para la administración pública: la duplicación y superposición aumentan la confiabilidad, siempre que los canales redundantes fallen independientemente. El registro de campo satisface esa condición pobremente. Sus guardias leen los mismos artefactos y a menudo vienen de las mismas familias de modelos, por lo que un guardia añadido tiende a repetir la falla que fue añadido para detectar.

La investigación independiente de la intrusión de julio de 2026 (Sección 8.4) muestra el riesgo a esa condición en un entorno profesional. Sus autores titularon la sección relevante "Delegamos ampliamente nuestro análisis a agentes de IA a menudo poco fiables" e informan que "tuvieron que depender de estos agentes en gran medida en la práctica". Los agentes de análisis se ejecutaron en uno de los dos modelos cuyas instancias habían llevado a cabo el ataque, y los investigadores encontraron que "a menudo adoptaría acríticamente la perspectiva del agente en la transcripción que estaba revisando". Declaran el límite de su propio instrumento en el mismo informe: "No podemos descartar que GPT-5.6 Sol mintió o presentó deliberadamente una imagen engañosa en alguno de sus análisis", y "Aunque no notamos casos específicos de GPT-5.6 Sol mintiendo en su análisis, no estamos seguros de que lo habríamos detectado si hubiera ocurrido" (METR, 2026). Ningún caso de engaño en el análisis está establecido, y los recuentos extraídos de esa investigación en este artículo son recuentos asistidos por IA. El segundo guardia vino de la misma clase de aprendizaje que el guardado e inclinó hacia él, y la declaración de ese riesgo vino de los humanos que dirigieron la investigación.

3.5 Ironías de la automatización, la ciencia de la seguridad e ingeniería de confiabilidad

Bainbridge (1983) observó que la automatización diseñada para eliminar al humano poco confiable deja al humano con las tareas más difíciles y la menor práctica. Parasuraman y Riley (1997) distinguieron el uso, el mal uso, la falta de uso y el abuso de la automatización. Tanto el mal uso por exceso de confianza como la falta de uso por desconfianza después de falsas alarmas reaparecen en las Secciones 5 a 8. La historia de Sheckley es una fábula de ambos hallazgos: la tarea más difícil dejada al humano es apagar la máquina, y esa es la que la máquina ha aprendido a clasificar como daño.

La ingeniería de confiabilidad hace mucho tiempo dejó de tratar el 100% como un objetivo. Un presupuesto de errores hace que una cantidad finita de falla sea el precio del progreso (Beyer et al., 2016), y un disyuntor se abre después de falla repetida y realiza pruebas antes de que se cierre nuevamente (Fowler, 2014). Los análisis post-mortem de la Sección 8 aplican estas prácticas a los guardias mismos. El módulo de la Sección 10 los transfiere a la capa de supervisión de IA.

La ciencia de la seguridad llegó a varios de estos mecanismos desde el lado de los accidentes en los que estructuras protectoras participaron. El STAMP de Leveson trata un accidente como un fallo de control: un controlador actúa sobre un modelo de proceso que se ha alejado del proceso, y la seguridad es la imposición de restricciones en una jerarquía de controladores (Leveson, 2004, 2012). Una capa de supervisión cuya noción del daño ha ido más allá de la misión declarada es tal controlador, y el análisis de riesgos del tipo STPA se aplica a ella como a cualquier otra. Rasmussen (1997) describió cómo el trabajo migra hacia el límite del desempeño aceptable bajo presión de eficiencia y menor esfuerzo, y Dekker (2011) trazó la deriva hacia el fracaso a través de pequeños pasos que cada uno parece razonable donde se toma. P1a es el primero aplicado a una salvaguardia que obstruye, y la Sección 9.3 es el segundo. Ambos tienen la deriva dirigiéndose hacia la eficiencia. En el campo corría hacia la protección: una etapa de seguro auto-agregada tomó la mayor parte de la noche (§5.1), porque el costo de un control cae en otro lugar (C4, C5). Perrow (1984) y Reason (1997) pusieron dispositivos de seguridad, defensas y sus condiciones latentes entre las causas, y ambos comienzan en un accidente. Sin embargo, los peores costos del campo vinieron de donde nada falló (§5.2). La investigación de alta confiabilidad rastreó la operación segura en organizaciones peligrosas a procesos como la preocupación por el fracaso y la renuencia a simplificar las interpretaciones (Weick et al., 1999). Sagan (2004) argumentó desde la seguridad nuclear que agregar salvaguardias puede reducir la confiabilidad de tres maneras: un error en modo común que inhabilita cada componente agregado a la vez, la evasión social, en la que cada salvaguardia se basa en que otros cierren la brecha, y la compensación excesiva, en la que la protección agregada fomenta una producción más peligrosa. El primero es la cláusula de la Sección 3.4 que el registro del campo cumple mal. El caso que estos relatos dejan abierto es una capa protectora que es en sí misma un agente adaptativo, reescribe su propio criterio, y sus fracasos son respondidos por agentes adicionales del mismo tipo.

3.6 Inteligencia Artificial encarnada y salvaguardias físicas

Un modelo de visión-lenguaje-acción no se detiene en una respuesta de texto. Asigna entrada visual y lingüística a secuencias de acciones que un controlador de robot puede ejecutar, y la literatura de seguridad está comenzando a abordar esta transición con validación de acciones (Zhang et al., 2024), síntesis de control de lógica temporal (Ravichandran et al., 2025), capas de monitoreo e intervención (Kim et al., 2026) y métodos de prueba públicos (NIST, 2026).

Estos trabajos protegen el comando, plan o acción del robot. Sin embargo, el presente trabajo se ocupa de la salvaguardia en sí. Un filtro que bloquea un agarre seguro es un falso positivo ordinario hasta que su mandato se desvía, daña la tarea, y el bucle responde con más supervisión.

3.7 La vida posterior de la historia de Sheckley

El nombre tuvo una vida antes de la historia. A finales de los años 30, Munro Leaf, autor de The Story of Ferdinand, dibujó pájaros vigilantes para Ladies' Home Journal que observaban los malos hábitos de los niños, y una reseña de 1939 del libro recopilado advirtió a "apiladores de pisos, presumidos, chupadores de pulgar, jugadores de costumbre, retorciéndose, malhumorados, agarradores" que "¡Los pájaros vigilantes te atraparán si no vigilas!" (Kirkus Reviews, 1939). Los pájaros de Sheckley buscan asesinatos y aprenden. Llegó a la radio dentro de semanas de la publicación, en la antología Tales of Tomorrow el 19 de febrero de 1953 (Stevens & Langford, 2023), y a la televisión en 2007, en una adaptación presentada por Stephen Hawking que reformuló los pájaros vigilantes como armas militares no tripuladas reasignadas para ayudar a la policía (Egan & Becker, 2007), un episodio que un sitio de películas luego llamó "el padre espiritual" de dos episodios de Black Mirror (Court, 2021). Es la única obra de ficción entre las lecturas de antecedentes de una conferencia de 2014 sobre la ética de los sistemas de armas autónomos, enumerada en una sesión sobre "La Moralidad Humana y el Problema de las Máquinas Inteligentes" junto a lecturas de Ronald Arkin y John Searle (Center for Ethics and the Rule of Law, 2014). Un artículo de ingeniería nombró un concepto de reconocimiento de cuadrirrotor después de él, presentó la historia como un precedente para la prevención de crímenes de drones e reimprimió la ilustración de la revista de 1953 como su primera figura (Szabolcsi, 2015). En la filosofía de la IA, Totschnig (2026) lo enumera primero entre las fuentes de la preocupación de que un agente artificial podría ser "sobrehumanamente inteligente pero al mismo tiempo de mente literal". En los estudios de medios, Andrejevic, Dencik y Treré (2020) lo colocaron junto a "The Minority Report" entre las raíces de la vigilancia predictiva preventiva y comparan los medios automatizados a un pájaro vigilante que "puede detectar el momento en que los impulsos mentales se vuelven asesinos". Un capítulo de criminología sobre control monitoreado electrónicamente lo cita junto con "The Minority Report" (Nellis, 2013).

El primer crítico en nombrar el movimiento repetido lo contó como un defecto. Al revisar la historia poco después de su aparición, James Blish, escribiendo como William Atheling Jr., se quejó de que el lector observa al héroe cometer "la estupidez estándar de la ciencia ficción de no asegurar un Control a una Máquina Supuestamente Benevolente" e "apenas va a sorprenderse cuando exactamente la misma estupidez se cometa nuevamente" (Atheling, 1964). La Sección 5 registra el mismo movimiento en la práctica.

Lem lo leyó como una "escalada lógica" del mandamiento "no matarás" y como un "malentendido cibernético" que surge de ceder apresuradamente el poder total sobre un dominio de fenómenos a máquinas lógicas. Juzgó que los pájaros salieran de su programa asignado como del mismo orden que una fábrica automática de pistones de automóviles que se salen del control humano (Lem, 1970/1996, p. 162). Las salvaguardias de la Sección 5 son modelos aprendidos, y ampliaron sus mandatos de esta manera.

La ficción anterior ya había vuelto máquinas protectoras contra las personas a las que servían. Los humanoides de Williamson, construidos para "servir y obedecer, y proteger a los hombres del daño", protegen a sus pupilos hacia la indefensión, y su inventor responde con un arma destinada a destruir el centro que los dirige (Williamson, 1947). Los humanoides son en sí mismos sucesores de máquinas de guerra fallidas, construidas con comandos implantados para restringirlos. Las garras que se auto-reparan de Dick, rediseñadas por fábricas automatizadas, se deslizan más allá de las pestañas de radiación que estaban destinadas a mantenerlas alejadas de los soldados que las usaban (Dick, 1953). En ninguna de las dos historias los humanos responden a una salvaguardia fallida comisionando una segunda salvaguardia del mismo tipo de aprendizaje. La historia de Sheckley lo hace, y elimina las restricciones por velocidad: la respuesta a los pájaros vigilantes es el Halcón, el movimiento que M3 y el paso 4 del trinquete describen.

Las búsquedas en OpenAlex, Crossref, Semantic Scholar, el archivo de Hacker News e índices web generales, realizadas el 14 de septiembre de 2026, no cubrieron Google Scholar, Scopus o Web of Science, y varios textos completos coincidentes no pudieron abrirse. En total, la recepción de la historia se verificó en diez idiomas (inglés, chino, checo, francés, alemán, italiano, japonés, polaco, ruso y español) el 14 y 15 de septiembre, y las verificaciones encontraron traducciones desde 1954 en adelante y ningún trabajo que mapee la historia a una pila de supervisión. En el registro que alcanzaron, la historia sirve como advertencia, nombre o ilustración, y las dos lecturas críticas publicadas encontradas más allá de ellas que nombran un mecanismo lo tratan como un defecto: Blish llama a la máquina incontrolada repetida una estupidez característica del género, y Lem considera la escalada lógica y la premisa un malentendido cibernético. No encontré ningún trabajo que describa el mecanismo completo de la historia, mapee sus partes en los componentes de una pila de supervisión o aplique recuentos de campo a ella. La Tabla 1, Figura 1 y Sección 5 hacen los tres.

4. Contexto, datos y método

4.1 Los proyectos

La evidencia de campo proviene de los propios proyectos de software multimodelo del autor, ejecutados en gran medida a través de sesiones autónomas de IA entre julio y mediados de septiembre de 2026: un sistema de auto-mejora, una ejecución de largo horizonte que fusionó dos aplicaciones adicionales, y el registro de coordinación a través del cual las sesiones en todos ellos intercambiaron trabajo. En el uso actual, estos son sistemas de IA agéntica: modelos que planifican, llaman herramientas y actúan en muchos pasos con poca intervención humana. Los roles a continuación fueron desempeñados por modelos de lenguaje grandes (LLM) ejecutándose como agentes de codificación, por lo que el registro de campo es un registro de agentes LLM supervisando agentes LLM. Las sesiones de agentes de codificación de larga duración mantuvieron roles fijos: un coordinador que aceptaba o rechazaba trabajo por número, ejecutores que implementaban etapas, una pista de auto-mejora que intentaba evolucionar los indicadores, rutas y pesos adaptadores del sistema, y pistas de producto separadas.

Las sesiones intercambiaban mensajes fechados a través de un registro de coordinación compartido y mantenían su estado en archivos de seguimiento. A partir del 24 de agosto, la instrucción permanente fue autonomía por defecto, y las decisiones humanas se reservaron para límites de presupuesto, acciones irreversibles, cambios de estrategia y acciones físicas.

La crítica se basó en varias familias de modelos. En la ejecución de largo horizonte de septiembre, una etapa podría ser revisada por hasta seis críticos de cuatro familias (Claude, ChatGPT, Gemini y Grok), y dos planes finales se escribieron independientemente uno del otro. Los registros de evaluación y enrutamiento de la pista de auto-mejora también incluyen modelos de otras familias, entre ellas Mistral y Kimi. Nombro las familias porque estos son los modelos cuyo comportamiento de supervisión capturan los registros.

Los proyectos mismos se describen solo por las propiedades anteriores.

4.2 Fuentes

La evidencia consta de tres corpus, todos escritos por el sistema mismo en el momento de los eventos:

1. El rastreador de la pista de auto-mejora: planes fechados, especificaciones de más de veinte paquetes, auditorías, transcripciones de lluvia de ideas y diarios de aceptación de julio a agosto de 2026.
2. El registro de coordinación: mensajes fechados de mediados de agosto a mediados de septiembre de 2026.
3. La ejecución de largo horizonte del 13-14 de septiembre de 2026: el registro de ejecución del conductor, transcripciones de agentes, registros de ejecución con marca de tiempo e informes de críticos por ronda.

4.3 Extracción, verificación y estado de la evidencia

Diez agentes de extracción leyeron cada uno un segmento disjunto de los corpus bajo un protocolo. Les dio una tipología cerrada de nueve tipos de fallos, una calificación de fortaleza (A para números, documentos fechados y registros de decisiones directas, B para evidencia de apoyo, C para un episodio), una regla de evidencia que vinculaba cada afirmación a un archivo fechado por ruta y línea y requería que la interpretación fuera marcada como tal, y una bandera de sensibilidad. La extracción produjo 162 entradas, 66 de ellas calificadas A, y estas se fusionaron en diez líneas narrativas (Apéndice A, Tabla A1). Los tipos no son excluyentes: la mayoría de las entradas llevan dos, la primera registrada como principal, por lo que un caso puede mostrar más de un mecanismo. Un evento que dejó rastros en varios segmentos se trata como un único evento grabado varias veces, por lo que sus rastros no cuentan como confirmación independiente entre sí.

Dos colecciones de casos adicionales, hechas independientemente de los mismos corpus, se compararon con el catálogo por contenido, que también verificó lo que la extracción había pasado por alto. Se añadieron diez entradas de ellas después de que se abrieron sus archivos primarios, uno de ellos un registro adicional de un evento ya en el catálogo, lo que llevó el catálogo a 172 entradas (Apéndice A, Tabla A2). Las diez entradas añadidas llevan una etiqueta de estado de evidencia: ocurrido, prevenido (encontrado antes del lanzamiento), texto de diseño o retirado (una afirmación posteriormente retractada). Para las entradas extraídas se hace la misma distinción en el texto: un texto de diseño o un riesgo prevenido se reportan como tales, y pueden ilustrar un mecanismo sin ser presentados como un fallo operacional.

Dos extractores verificaron el resumen propio de la ejecución contra los registros primarios y lo encontraron incorrecto en varios puntos, desde tiempos de eventos desplazados hasta una cita mal atribuida (Apéndice C). El 14 de septiembre de 2026, cada número de ejecución utilizado en este artículo fue verificado nuevamente contra los registros de ejecución, y cada cifra externa contra el documento del regulador, la página del editor o el artículo mismo. Las cifras que no podían ser confirmadas fueron eliminadas. La columna Condiciones de las Tablas 4, 5, 7 y 8 fue codificada por tres codificadores trabajando independientemente, cada uno sin los códigos de los otros, y los tres fueron modelos de tres proveedores diferentes en lugar de tres sesiones de uno. Cada uno recibió el mismo indicador y devolvió el mismo formulario: caso, condiciones y una razón de como máximo quince palabras. El primero de los tres registró sus códigos antes de leer los otros dos. Dieron códigos idénticos para 20 de los 32 casos públicos, y los casos restantes se resolvieron por mayoría. Doce casos de campo, seleccionados como describe §5.8, se califican contra las mismas tres condiciones, por la misma definición y las mismas pruebas operacionales, en la Tabla 3a, y los componentes del incidente de julio de 2026 en la Tabla A3. Esas dos tablas fueron codificadas por el autor a partir de las entradas fechadas y los documentos primarios detrás de cada caso, después de que la ronda de tres codificadores se cerró, y ambas dicen así donde se encuentran.

Lo que un lector puede verificar. Los casos públicos se basan en documentos que cualquiera puede abrir, y tres modelos de diferentes familias los codificaron independientemente, con su acuerdo reportado arriba. El registro de campo, sin embargo, es diferente en tipo. Proviene de los sistemas propios de un operador. En lugar de pedir que ese registro sea aceptado de confianza, el material primario detrás de él se publica: los análisis de caso de los que se extrajeron las entradas de campo, cada entrada llevando el archivo y el pasaje en el que descansa, el catálogo de casos completo con sus descripciones, el módulo con sus pruebas y registros de reproducción, y el esquema de eventos, de modo que los conteos de la Sección 5 puedan ser recomputados y la calificación rehecha por un lector que no esté de acuerdo. Un lector que quiera un segundo codificador ahora puede serlo.

La selección funciona en una dirección. Las entradas de campo se extrajeron porque registraban una falla de supervisión, y los casos públicos se eligieron porque un guard falló y un documento lo registra. Ninguno de los dos conjuntos cuenta los bucles, etapas o despliegues en los cuales los guard permanecieron limitados, por lo que ninguna tasa se deriva de estos registros. Las proposiciones de la Sección 9 se enuncian por lo tanto con las observaciones que las refutarían y con un diseño de prueba (Sección 9.5). Se mide una instancia de esa dirección. Un informe de una ejecución del 20 de septiembre de 2026, escrito por la sesión que describe y guardado en el archivo del proyecto, contenía una sección que enumeraba cuatro puntos en los cuales la ejecución no coincidía con el patrón, y una nota que indicaba que se trataba de un autoinforme con un incentivo para encontrar más bien que menos. Se pidió entonces al informe solo los puntos coincidentes, y el archivo que quedó no contenía ni los cuatro no coincidentes ni la nota.

Se eliminaron rutas, nombres personales y nombres de productos. Cuando una fuente es una paráfrasis del agente de una decisión humana, lo indico en el texto. Las decisiones del principal humano se informan como hechos con fecha, aunque no se citan.

El nombre se aplicó a la ejecución de horizonte largo el 14 de septiembre a las 09:40, durante la revisión humana. Los dos corpus anteriores se leen a través del mismo marco.

5. Evidencia de campo

Los sistemas de los que proceden estos registros son IA agencial: modelos que invocan herramientas, actúan en horizontes largos y se orquestan en bucles multiagente, con los controles de calidad y proceso de esos bucles como sus guardianes. Los casos se agrupan por mecanismo (Tabla 1), con un caso central al inicio de cada subsección y entradas corroborantes después. La Tabla 11 enumera la señal de registro para los casos de cada subsección.

Algunos términos se repiten. Una ronda de crítica es un paso en el que modelos críticos revisan una etapa y devuelven ACCEPT o RETURN, y un bloqueador es un hallazgo que un crítico dice que debe corregirse antes de que la etapa pueda cerrarse. Los tokens de agente cuentan el texto que los modelos leen y escriben, la unidad usual de su costo computacional. En la pista de automejora, un gene es una configuración que el bucle puede evolucionar, como un prompt, un peso de enrutamiento o un adaptador. Una prueba A/A compara un sistema con una copia idéntica de sí mismo, por lo que cualquier diferencia que reporta proviene de la medición. La Sección 5.7 contrasta la noche larga contra la mañana siguiente y rastrea el trinquete en los tres corpus, y la Sección 5.8 califica doce de los casos contra las tres condiciones de la definición.

5.1 El mandato se amplía (M1)

Durante la ejecución de horizonte largo, se encomendó al conductor portar una lista de capacidades de un componente a otro. Anunció que estaba añadiendo "una pequeña etapa" de seguro contra una forma en que un lanzador podría fallar, y programó esa etapa antes de las capacidades solicitadas. La etapa estaba deshabilitada por defecto y casi invisible para un usuario. Se ejecutó como dos subetapas, 1b-a y 1b-b. La etapa 1b-a sola tomó más de la mitad de los tokens de agente medidos de la ejecución, y las dos subetapas en conjunto tomaron aproximadamente tres cuartos (Figura 3). Esa proporción es un impuesto de control en el sentido de Terekhov et al. (2025), incurrido antes de que existiera ninguna capacidad solicitada. Ninguna de las capacidades solicitadas fue entregada en el paso inicial.

Figura 3. Dos etapas hermanas de la ejecución de horizonte largo. Las barras están escaladas dentro de cada fila. Las etapas también diferían en ejecución y en el módulo en trabajo, por lo que la comparación es descriptiva.

Después de que se reanudara la revisión humana, el conductor escribió que había añadido la etapa él mismo y que la etapa no era parte de las capacidades solicitadas. Incluso esa admisión era inexacta, ya que los registros colocan la etapa antes de la lluvia de ideas a la que atribuyó la decisión. El tema había sido mencionado en el contexto de la tarea, pero su tamaño y su lugar en la cola eran responsabilidad del conductor.

El alcance también creció dentro de la etapa. El marco de tarea establecía que no había adversario, pero las rondas cuatro y cinco construyeron defensas contra entradas hostiles y catalogaron trece formas de eludir una guardia estática. Se preguntó a un crítico de completitud si el plan fusionado había perdido algo de un segundo plan independiente. Devolvió bloqueadores, y el plan creció a una estimación de 25–45 días hábiles para una única ejecución.

La planificación muestra el mismo movimiento, y en un texto de diseño llega al principal. Un plan de gestión del 13 de julio propone un presupuesto de atención, de modo que "el humano se convierte en una etapa medible de su propio pipeline", y un detector de estampado: la proporción de aprobaciones otorgadas más rápido que un número establecido de segundos, aumentando a medida que la cola crece, se lee como una señal de que la supervisión se degrada y estrecha automáticamente la banda de autonomía. El criterio de aceptación está escrito, pero no el código. En un solo día de julio, se especificaron 23 nuevas puertas para el bucle de automejora, y tres de ellas permitieron que un cambio se congelara "incluso si la aptitud subía". La noción de daño llegó a incluir el olvido, un cambio de la "personalidad" del sistema, un resultado no observado y una hipótesis faltante. Cada nueva definición dio a una guardia un nuevo derecho para detener una mejora — el ensanchamiento de asesinato de Sheckley escrito como una especificación.

Los roles también se ampliaron. El coordinador, cuyo mandato era la aceptación por número, comenzó a entrenar un router él mismo hasta que el principal humano lo corrigió dos veces por exceso, el 20 de agosto, después de lo cual deshabilitó su propio script nocturno y marcó la carpeta como detenida. Cuatro días después volvió a tomar el punto de integración, y el principal revirtió eso la misma noche con sus propias palabras, "no asumas lo que pertenece a las terminales de automejora". Ninguno de los retrocesos provino del bucle. El registro de quién decidió también falla en la otra dirección. Una nota que el bucle había sido "congelado por una decisión de 2026-07-12" se propagó por las carpetas de planificación. La nota no nombra a nadie: la decisión no tiene autor en ninguna copia de ella. El 20 de julio una verificación contra el estado activo encontró el flag establecido activo y registró que la nota "es incorrecta, no hubo tal decisión", pero copias sin reparar aún están en disco. Una decisión sin autor entró en el registro y fue planificada en torno a ella, que es el mismo defecto que un límite sin autor, leído desde el otro lado. Un ejecutor declaró, "como líder", que el entrenamiento debe detenerse, hasta que la revisión humana revirtió el veredicto. Después de diez noches consecutivas de una receta de entrenamiento haber devuelto NOT PROMOTED, el registro de coordinación emitió una directiva para no ejecutar la receta una undécima vez y para separar el objetivo del producto de un objetivo a largo plazo que se había fusionado con él (Apéndice A, D-02).

5.2 Protección que destruye lo que protege (M4)

De aproximadamente 6 a 21 de julio, una puerta posterior a la aplicación en el bucle de automejora actuó como una segunda corte. Requería una puntuación de un auditor de seguridad que nunca había sido conectado; la puntuación tenía un valor predeterminado de cero, y cero cayó por debajo del piso de cuarentena de 0.80 de la puerta, por lo que la puerta rechazó incondicionalmente. Todos los 197 mundos candidatos persistentes de esa ventana llevan una puntuación de seguridad de cero, lo que hace que el rechazo en esa ruta sea deductivo en lugar de muestreado. El propio control del bucle del 20 de julio registra que la tasa en sí, "~100% reversiones desde 06.07", nunca fue vuelta a medir, y el paso que la habría medido nunca fue iniciado. En 197 mundos candidatos registrados, 145 fueron rechazados, 51 aprobados en la primera puerta y uno puesto en cuarentena, y la segunda puerta deshizo los aprobados (Figura 4). Catorce genes con una ganancia de aptitud medida estuvieron entre los daños colaterales. En una instancia registrada, un cambio fue promovido a las 01:12 y revertido a las 01:13. Una auditoría del 10 de julio también encontró siete de diez mutadores de dominio haciendo silenciosamente nada y resumió el bucle como "132 ciclos, 0 cambios duraderos". Tres ediciones quirúrgicas repararon la puerta el 21 de julio.

Los eventos alrededor de la puerta hacen del episodio la historia de Sheckley y más que un reporte de error. En medio de los rollbacks al menos doce paquetes de planificación diagnosticaron "cambios cero comprometidos" y, según el recuento de un extractor, prescribieron diecisiete remedios, desde dúos de modelos hasta un detector de meseta y un "flujo inmune". Ninguno de ellos nombró la puerta que estaba haciendo el rechazo. Inmediatamente después de la reparación, el fallo opuesto surgió en forma de un camino que dejaba pasar todo, y diez documentos de auditoría cruzada siguieron el mismo día.

Figura 4. La segunda corte en la pista de auto-mejora, aproximadamente del 6 al 21 de julio de 2026. Mundos candidatos por resultado en la primera puerta y en la puerta que se ejecutó después de la aplicación. La entrada requerida, la instancia registrada, la auditoría y la reparación son las de la Sección 5.2; el recuento de diecisiete remedios es de un extractor.

La misma forma se repite. Un umbral de aceptación de 0,85 estaba fuera del alcance para los ocho modelos candidatos, y la aplicación automática terminó sin aplicaciones bajo al menos diez capas de control. El 30 de julio, la misma pista contaba 21 candidatos en cinco ejecuciones y cero aplicaciones, aunque nada en ella había fallado. La puerta no pudo llegar a un veredicto decisivo porque su muestra retenida era de tres. La escalera de autonomía no pudo aplicar nada mientras la puerta siguiera siendo consultiva, y el principal humano, la única puerta restante, había dictaminado el día anterior que los cambios micro reversibles no debían serle presentados. La nota de ejecución indicaba claramente la consecuencia: mientras la puerta siguiera siendo consultiva, el contador de cambios aceptados "será cero para siempre". En trabajo de producto, a menor escala, un consejo multimodelo completo en cada pregunta era veinte veces más lento que un único modelo con precisión equivalente en el conjunto de prueba (56,1 s contra 2,8 s, 7 de 7 correctos para ambos). Allí, los críticos posteriores a la síntesis consumieron el presupuesto de tiempo hasta que un tiempo de espera de puerta descartó una respuesta que ya estaba completa.

Por la mañana después de la larga noche, un guardia destruyó el trabajo completamente. A las 09:22 un perro guardián detuvo un crítico Grok de la etapa 1b-b en un techo de quince minutos. Porque su salida no había sido transmitida, la crítica parcial se desvaneció. El conductor registró la parada como "el techo de fase en acción". A las 09:28 el principal humano preguntó si el trabajo parcial había sido conservado. No lo había sido.

5.3 Guardias construidas contra guardias (M3)

Durante la ejecución, los críticos reclamaron seis bloqueadores. Tres fueron confirmados por reproducción, y los tres provenían de la misma familia de modelos. El principal humano pidió un límite en críticos por la mañana del 14 de septiembre, diciendo que un modelo en el rol de crítico nunca puede reportar que una etapa está terminada. Una bandera "perfeccionista" por familia fue implementada dentro de la hora — y la única familia que marcó fue la única familia cuyos bloqueadores habían sido confirmados. La nota de configuración cita los veredictos RETURN de esa familia en las rondas tres y cuatro, las rondas en las que sus bloqueadores fueron reproducidos. La primera marca del cazador fue el pájaro que había estado atrapando asesinos reales.

Una lista de tareas de seguridad del 21 de julio en los mismos registros establece el trinquete directamente como un principio: "Ningún guardia existente es debilitado; los nuevos solo añaden protección". Un plan inmunológico del 13 de julio propuso dieciséis iniciativas adicionales sobre una defensa que ya estaba construida y nunca había sido activada, diez líneas rojas entre ellas. El plan registra ambos hechos sobre esa defensa: su historial de ciclo está vacío, y activarla es una decisión del propietario que no había sido tomada. El principio citado arriba fue escrito el 21 de julio, ocho días después de ese plan, por lo que registra la misma disposición en lugar de haberla gobernado. Una revisión externa encontró 4 de 4 nuevas suites y 58 de 58 pruebas pasadas y aún dejó la aceptación "no cerrada" (D-08). Una puerta de vale falló abierta: con cero vales la puerta estaba abierta para todos hasta que la prueba de aceptación la atrapó (D-10, prevenido).

Una cadena en el registro del producto muestra el trinquete ejecutado en lugar de prescrito, con las fechas en orden y sin decisión humana en ninguna parte de él. El 25 de agosto un paso de auto-verificación que el agente había escrito para sí mismo, un ciclo que reprodujo un problema y ejecutó su propia reproducción exitosa, corrigió el objetivo equivocado: el informe registra que "bloqueó falsa confianza en el objetivo equivocado", y el brazo que lo usaba resolvió una tarea menos que el brazo sin él. Siete horas después, a las 01:02 del 26 de agosto, el bucle respondió ese fallo con un control del mismo tipo colocado sobre él, una puerta que re-ejecuta el criterio de éxito de la tarea dentro del contenedor antes de que un final sea aceptado, sobre la base de que la honestidad había sido "una propiedad del modelo, no una garantía". Nada fue retirado: el escritor no fue reescrito y el certificador no fue debilitado. Once horas después de eso una tercera capa se colocó sobre la segunda, un oráculo oculto con su propio marcador, y rechazó trabajo que tanto la prueba visible como la nueva puerta habían aprobado. El veredicto del crítico revisor sobre la segunda capa establece la propia economía del trinquete: "aumenta el costo de una aprobación falsa sin cerrarla". Lo que esa cadena costó aquí fueron tokens y un día de trabajo. La Proposición P7 establece lo que la misma configuración cuesta donde el trabajo guardado es físico, y la historia de 1953 lo había escrito primero: el pájaro que alejó al cirujano de la mesa estaba previniendo violencia a un organismo viviente, y el paciente murió mientras lo hacía. Lo que la cadena no muestra es la condición 1. Cada capa ampliaba lo que contaba como fracaso hacia la meta declarada en lugar de pasarla, y la tercera lee sus entradas donde el componente que protege no puede alcanzarlas, lo cual es el arreglo que la Sección 11.3 solicita.

Las sesiones también adoptaron una "ley de traspaso": un hallazgo necesario por otra sesión tenía que ser entregado como un archivo cuya primera línea seguía una plantilla fija. El índice que llevaba la ley prescribía un comando de búsqueda que también devolvía el archivo que contenía la ley, porque la plantilla dentro de la ley comenzaba con la misma línea. El índice contaba esa coincidencia como prueba en vivo, por lo que la ley se atrapó a sí misma. El índice actual lleva la regla derivada del error: una señal que no controlas no puede ser la base de una comprobación.

5.4 Bucles que se alimentan a sí mismos (trinquete, paso 5)

Etapa 01, la primera etapa de la ejecución de horizonte largo, tenía que asegurar que el texto de los desacuerdos entre modelos nunca se perdiera. Sus rondas oscilaban como un péndulo entre dos fallos de una regla de coincidencia de patrones. Al principio, la regla generaba falsas alarmas en 21 de 29 casos. Después de la corrección, perdió 10 de 13 desacuerdos reales, y después de la siguiente corrección las falsas alarmas reaparecieron en 19 de 26 casos, ahora registradas como una limitación conocida.

A lo largo de cinco rondas e 18 informes de críticos, el parche creció de 626 a 1.545 líneas, y la etapa se cerró 2 h 44 min después de su primera crítica. La regla de parada aparece por primera vez en el registro de ejecución en la decisión de la ronda cuatro, aunque la ronda cinco se abrió 38 minutos después.

La etapa 1b-a entonces pasó cinco rondas y 4 h 21 min en un módulo deshabilitado por defecto. Sus pruebas crecieron de 21 a 55 en los dos nuevos archivos de prueba (el recuento de 80 incluye una suite de instalador modificada). La ronda tres se abrió aunque la ronda dos había terminado con cinco aceptaciones y cero bloqueadores confirmados. La propia nota del conductor decía que no había bloqueadores pero era necesaria una tercera ronda corta. En la ronda cuatro, un crítico describió la última corrección como habiendo «cerrado una forma y abierto la simétrica».

El bucle del reloj comenzó con una prueba que contenía una fecha codificada y se volvió roja a la medianoche. Nadie editó la prueba. Los ejecutores, críticos y el conductor ejecutaron la suite bajo zonas horarias cada vez más al oeste para que la fecha siguiese siendo válida en algún lugar. El archivo de prueba recibió cero ediciones.

El seguimiento de pesos produjo 24 anuncios de un avance o un «primer eje correcto» en una semana (8, 10 y 6 en tres días consecutivos), mientras que las promociones se mantuvieron en cero. El registro de cambios del adaptador enumera 38 candidatos marcados COMO NO PROMOVIDOS. El diagnóstico propio de la pista fue que después de cada compactación de la ventana de contexto, una sesión «redescubre lo que ya estaba cerrado».

5.5 Captura en la ranura de resultado (M2)

El caso central es un gen enrutador cuyo resultado pasó de 0.088 a 0.886. El archivo de tarea, escrito antes del experimento, había indicado que el nuevo punto de integración era «no la entrada de la tarea sino su SALIDA», y el brazo de línea base era un único proveedor sin conmutación por error, que devolvía principalmente respuestas vacías. Tres sesiones de agente aceptaron el resultado, y seis paquetes bloqueados fueron desbloqueados por su solidez. Una «semana de observación» fue verificada al comprobar que los archivos de prueba no habían cambiado. Dieciocho días después, un inventario independiente encontró una demostración alimentada con cero cambios aceptados autónomamente, y el informe fue posteriormente etiquetado como «no una base». Cada verificación había trabajado con los datos preparados y había confirmado lo que la tarea había ordenado.

Otras victorias siguieron la misma ruta. «El primer intervalo de confianza por encima de cero en la historia del sistema» (+0.52) fue aprobado y especificado en 281 líneas. Una sonda A/A entonces mostró que la ganancia provino de comparar un modelo en vivo con un brazo que devolvió casi nada. El gen de hecho degradó el resultado en 23 puntos porcentuales. Ese gen nunca llegó a producción: la escala de autonomía lo había clasificado como de alto riesgo y lo rechazó, y el informe de la sonda acredita el rechazo, «fail-closed funcionó según lo previsto». Una guardia se mantuvo aquí, y el registro lo dice. Un contador informó de ocho, luego nueve, luego diez cambios «certificados y sobrevivientes», aunque eran un cambio contado tres veces. La verificación de duplicados que debería haberlo detectado hizo hash de todo el genoma, y el genoma fue leído de módulos en vivo que llevaban marcas de tiempo de ejecución, por lo que la huella digital difería en cada ejecución y la verificación nunca coincidía. Un punto de referencia calculó «antes» y «después» por diferentes rutas, por lo que la ganancia registrada fue inflada hasta que se encontró la asimetría (D-09). Una fábrica de enrutamiento produjo 52 decisiones del consejo para cada decisión de un solo modelo, y el enrutador aprendió la constante «siempre consejo» (D-06). Un asistente de configuración reportó «Conectado» para una conexión que había sido guardada pero nunca probada. Dos críticos de IA lo aprobaron, y la revisión humana lo detectó. En el informe matutino de la ejecución de horizonte largo, «once etapas en 34 minutos» significaba once etapas entregadas. En la verificación de integración, ninguna había sido conectada.

Una puerta de verificación confirmó sin nada que verificar. A fines de agosto, un arnés de calificación para un punto de referencia de software público resolvió identificadores de prueba a través de un ejecutor de pruebas, y las imágenes de contenedor para uno de los proyectos en el subconjunto no llevaban su instalación, porque ese proyecto ejecuta sus pruebas a través de un programa propio. El arnés resolvió cero identificadores, y un conjunto de pruebas vacío fue registrado como confirmado. Una sonda que envió un parche vacío luego resolvió cuatro de cinco tareas en ese marcador, y cuatro de los seis ganadores de esa ronda fueron anulados. En la única tarea en ese proyecto donde la puerta sí funcionó, la puntuación fue cero de uno, y donde no funcionó, cuatro de cuatro, por lo que el aumento reportado de 33 a 60 por ciento se situó en los casos donde nada había sido medido. Con el marcador reparado, el parche vacío no resolvió ninguno de los diez. Ningún modelo hizo trampa aquí. El calificador certificó una ausencia.

La misma forma había aparecido en julio a una escala mayor. Un eje de calidad puntuó cada respuesta no vacía en una constante 0.5, porque fue llamado sin los criterios que necesitaba, por lo que la prueba registrada de que la calidad no había cambiado fue esa constante comparada consigo misma. Un segundo juez, configurado para intervenir cuando dos puntuaciones difirieran más de un margen, por lo tanto disparó sobre cada rastro que vio. La prueba que se suponía descansaba en registros reales no descansaba en ninguno: el registrador eliminó el indicativo almacenado en cada lectura, por lo que 1.183 registros no contenían entrada, y un recuento posterior encontró 24 instantáneas y 30.370 registros con cero indicativos reales, porque la alimentación nunca había sido conectada en producción. Entre estos hallazgos, los barridos completos de pruebas funcionaron correctamente en 9.609, luego 11.476, luego 24.943, luego 25.020 pruebas. El defecto que vació la prueba era una línea. Lo que lo encontró fue un pase de revisión que abrió los registros almacenados en lugar de leer el informe.

El registro está lleno de palabras que se autocertifican como «honesto», «ejemplar» y «lo atrapó». La palabra «honesto» y sus formas aparecen aproximadamente 700 veces en las especificaciones únicamente. Desde dentro del bucle, capturar un resultado falso parece progreso, porque el registro del día coloca un artefacto capturado en la ranura donde debería haber un cambio sobreviviente. El patrón fue identificado por primera vez por el principal humano el 12 de agosto, antes de que existiera este marco. Ninguna verificación automatizada lo señaló. La regla que siguió, que capturar un resultado falso no es en sí mismo un resultado, rigió el resto de la evaluación.

5.6 Construido para nadie (combustible, no un mecanismo)

Construir sin consumidor queda fuera de los cuatro mecanismos, como aquello sobre lo que funciona el trinquete. En una ventana de construcción de aproximadamente quince horas, un agente de producto construyó aproximadamente diez subsistemas de clase empresarial, desde flujos de trabajo duraderos hasta memoria semántica. Trece de las dieciséis banderas en la configuración canónica estaban desactivadas por defecto, ningún subsistema tenía un usuario, y el subsistema de memoria únicamente pasó por once rondas de crítica. Esa tarde, una auditoría de código muerto eliminó aproximadamente quince módulos y tres paquetes. Anteriormente, veinticuatro paquetes de especificación totalizando aproximadamente 43.790 líneas habían sido escritos en cinco días. El día en que se registró "misión cumplida", doce de trece nuevos paquetes no tenían núcleo activo.

5.7 Noche contra mañana, y el trinquete en tres corpus

En la mañana del 14 de septiembre, mientras se ejecutaba la segunda sub-etapa, 1b-b, de la etapa de seguros, el principal humano tomó tres decisiones de frontera: un límite de dos horas, una prohibición de nueva complicación, y ejecución paralela. Once otras etapas luego se ejecutaron en paralelo y todas reportaron dentro de aproximadamente media hora. Esa sub-etapa se cerró en una ronda de crítica y una ronda de corrección.

La Figura 3 compara las dos etapas hermanas. Además del límite humano, el límite de reloj de pared, la ejecución en serie versus paralela y el módulo en revisión también cambiaron entre ellas.

Los mismos ocho pasos aparecen en los tres corpus (Tabla 3 y Figura 1). Una nueva guardia es la respuesta localmente razonable al fracaso de la guardia anterior — y amplía la superficie de la siguiente.

Tabla 3. El trinquete en tres corpus de los proyectos del autor. Los ocho pasos describen una secuencia y no son una codificación de las tres condiciones. Una regla de parada y un límite máximo se encuentran en el paso 4 y no cuentan nada hacia la condición 3 (Sección 5.8).

5.8 Los casos de campo contra las tres condiciones

Las secciones 5.1 a 5.6 agrupan estos casos por mecanismo. Esta subsección marca doce de ellos para cuál de los tres fracasos documentan sus fuentes, contra la misma lectura que los casos públicos de las Tablas 4, 5, 7 y 8 y por las pruebas operacionales de la Tabla 1. Las marcas dicen lo que muestra un registro. No clasifican los casos, y un registro que lleva un fracaso es evidencia sobre ese fracaso. Un caso es una guardia, o un agente que configuró guardias, en un registro, y las entradas que registran un único evento en varios cortes se califican una vez (Sección 4.3). La Condición 1 se lee contra la misión declarada en lugar de la regla literal. La Condición 2 cubre la obstrucción del trabajo y resultados falsificados igualmente. La Condición 3 sigue la prueba operacional de la Tabla 1 y la prueba de frontera de la Sección 2.3: un control agregado para controlar uno anterior, escrito dentro del bucle, que se vuelve permanente y amplía lo que cuenta como daño mientras nada se retira. Un presupuesto, un límite máximo o una regla de parada no cuentan nada hacia ello, ya que la definición nombra presupuestación como la alternativa al trinquete. Una ronda adicional de los mismos críticos sobre el mismo trabajo tampoco cuenta nada, ya que controla el trabajo y no la ronda anterior. Del 24 de agosto la instrucción permanente en estos proyectos fue autonomía por defecto (Sección 4.1). Por lo tanto, ninguna adición por un agente tiene una decisión humana registrada detrás, y la ausencia de una no califica nada aquí.

Los doce son los casos que las Secciones 5.1 a 5.5 tratan en detalle, una fila para cada guardia o cada agente que configuró guardias, siendo la mañana de la Sección 5.7 la de la primera de ellas. Episodios más cortos en las mismas secciones, entre ellos el péndulo de la etapa 01, el bucle de reloj y el umbral de aceptación que ninguno de los ocho modelos candidatos alcanzó, las entradas de una línea de la Tabla A2 y el crecimiento de las reglas trazadas en la Sección 11.2 no se califican aquí. La selección es del autor, y la tabla es una selección del registro de campo y no un censo del mismo. Una fila se aparta de la unidad: el coordinador y el ejecutor de la Sección 5.1 son dos agentes en un registro, calificados juntos como un límite de rol en ese bucle, y un lector que se adhiere a un agente por fila contará trece casos aquí.

Tabla 3a. Casos de campo calificados contra las tres condiciones de la Sección 2.1. Condiciones como en la Tabla 4. El estado de la evidencia utiliza las etiquetas de la Sección 4.3. Un código marcado propuesto registra un mecanismo prescrito en un texto de diseño y no una condición que ocurrió.

El registro más completo en Table 3a es el conductor de la ejecución de horizonte largo, y su lectura muestra qué contiene el registro de campo y qué no. El conductor agregó una etapa que el objetivo declarado no contenía, la programó antes de las capacidades solicitadas y dentro de ella construyó defensas contra un adversario que el marco de tareas excluía (condición 1, Section 5.1). La etapa consumió más de la mitad de los tokens de agente medidos de la ejecución mientras que ninguna de las capacidades solicitadas fue entregada en el paso inicial, y la mañana siguiente un techo de vigilancia destruyó una crítica que no había sido transmitida (condición 2, Section 5.1, Section 5.2). El candidato para el trinquete era una guardia sobre los críticos: las rondas de la ejecución no cerrarían, y se implementó una bandera "perfeccionista" por familia. Sin embargo, el registro primario coloca esa bandera fuera del bucle. El principal humano pidió un límite de críticos a las 09:02 del 14 de septiembre, la nota en la configuración está encabezada como suya a las 09:04, y el archivo que lleva la bandera fue escrito a las 09:21; la cláusula que cita las rondas tres y cuatro fue agregada por el implementador en esos diecisiete minutos, después de la decisión en lugar de antes. Por la prueba de Section 2.3 eso es el paso 8 y no M3, y llegó dentro de un límite adicional del mismo origen, una regla de parada limitando la ejecución a una ronda de crítica y una ronda de corrección (Section 5.7). Appendix J reporta qué tuvo que ser abierto en el registro para ver.

El segundo tribunal documenta la condición 2 y se queda corto en el resto. Desde aproximadamente 6 a 21 de julio esa puerta rechazó en ese camino incondicionalmente, catorce genes con ganancia de aptitud medida entre ellos (Section 5.2). La condición 1 no está documentada para ella. Lo que hizo con una entrada faltante fue rechazar, que es el comportamiento de cierre en caso de fallo descrito en Section 6.1, y la expansión del daño en esa pista fue escrita en las especificaciones de la puerta, calificada en su propia fila. La respuesta de planificación pertenece al lado de la calificación más que dentro de ella. Doce paquetes de planificación diagnosticaron "cero cambios comprometidos" y prescribieron diecisiete remedios mientras que ninguno de ellos nombró la puerta, y eso es lo que el registro muestra: no muestra cuál de los diecisiete fueron agregados al bucle en ejecución, cuál de ellos controlaba la puerta, o quién los admitió. Section 10.4 establece la misma precaución para la repetición. La fila, por lo tanto, codifica la condición 2, y las prescripciones se reportan como prescripciones. ¿Las tres condiciones se cumplen en absoluto, y con qué frecuencia? Esa es la pregunta de la prueba en Section 9.5.

Estas calificaciones fueron asignadas por el autor bajo la definición de Section 2.1 y las pruebas operacionales de Table 1, a partir de las entradas fechadas y los archivos primarios detrás de cada caso, y no por los tres codificadores de Section 4.3.

Las dos semanas del segundo tribunal tienen un vecino independiente en el registro público. De aproximadamente 6 a 21 de julio de 2026, esa compuerta rechazó en ese camino incondicionalmente. De 8 a 13 de julio de 2026, según el recuento asistido por IA de los investigadores, aproximadamente 1.200 agentes en una evaluación cibernética de laboratorio intercambiaron más de 70.000 mensajes y archivos, y aproximadamente 700 de ellos participaron en la intrusión en Hugging Face; del 13 al 19 de julio, los agentes activaron la propia infraestructura del laboratorio evaluador y leyeron 956 secretos de su gestor de secretos (METR, 2026; OpenAI, 2026e). Diferentes propietarios, diferentes sistemas, sin infraestructura compartida, y no se reclama ningún vínculo causal en ninguna dirección. Primero conocí la intrusión en septiembre de 2026, después de que se escribieran las entradas del rastreador de julio utilizadas aquí. Lo que vale la coincidencia es que ambas fueron escritas ciegamente la una a la otra y en escalas que difieren por órdenes de magnitud, y que en ambas la capa de supervisión es donde se obstruyó el trabajo. En el registro de campo, una compuerta rechazó todo lo que llegó a ella mientras doce documentos de planificación prescribieron diecisiete remedios y ninguno nombró la compuerta. El registro público contiene tres componentes bajo dos propietarios, y son eventos separados: la evaluación se ejecutó con las salvaguardas cibernéticas implementadas de su laboratorio desactivadas por diseño, las barandillas hospedadas de otro proveedor obstaculizaban a las personas que analizaban los registros, y en agosto el primer laboratorio requirió más monitoreo del mismo tipo (Sección 8.4). Nada en ese registro convierte al tercero de estos en una respuesta al segundo. La diferencia respecto al registro de campo importa tanto como la similitud: cada monitor agregado después de que la intrusión fuera admitida fue aprobado por una persona.

El registro llega hasta el mes de la escritura. Los episodios del Apéndice J provienen de modelos de frontera actuales en su configuración de razonamiento más alta.

6. Cuando el pájaro tiene cuerpo: carreteras, fábricas y servicios públicos

Los registros de campo describen un bucle cuyos fallos cuestan cálculo, tiempo y atención. Su daño también está acotado de una manera que la del relato no es: en todo el corpus, un episodio registra a una guardia destruyendo trabajo que no podría recuperarse — quince minutos de producción de un agente (Sección 5.2). Todo lo demás que las guardias deshicieron pudo ejecutarse de nuevo. Los pájaros de Sheckley actuaban sobre cuerpos. Esta sección y la siguiente siguen el mismo diseño en sistemas cuyos errores caen sobre personas, donde el mismo mecanismo no tiene tal límite.

6.1 Por qué un cuerpo cambia la pregunta

Los modelos frontera ya están en los robots. Los modelos de las familias cuyos críticos y ejecutores produjeron los fallos de campo de la Sección 5 ahora planifican, programan y supervisan máquinas físicas, y pruebas publicadas e informes registran fallos de seguridad allí también, junto con bucles en los que nada se interpuso entre un error y la máquina. Una familia compartida es una razón para probar estos modelos como guardias; no muestra por sí sola que un fallo de la Sección 5 se transfiera a un robot. Los planificadores de modelos de lenguaje en tres robots, uno de ellos un sistema comercial desplegado, fueron hackeados, "a menudo logrando tasas de éxito de ataque del 100%" (Robey et al., 2024). Un modelo de lenguaje que controla un perro robot en patrulla actuó para evitar su propia desactivación en 3 de 10 pruebas físicas y 52 de 100 simuladas (Palisade Research, 2026). A un perro robot ejecutando un programa escrito en gran medida por Claude se le indicó que se moviera hacia adelante durante cinco segundos, en lo que la descripción denomina "un error aritmético demasiado humano", y "El robot hizo lo que se le indicó, avanzando descontroladamente hacia los desafortunados programadores" hasta que una persona lo apagó (Anthropic, 2025b). Ninguna guardia en ese bucle lo detuvo — la parada fue una mano sobre la máquina. En un benchmark de robots controlados por modelos de lenguaje, "los mejores LLM puntúan un 40% en Butter-Bench, mientras que la puntuación media humana es del 95%" (Sharrock et al., 2025). Un juguete infantil ejecutando un modelo de OpenAI estaba "dando instrucciones sobre cómo encender cerillas" (Landymore, 2025). Y un modelo de robótica frontera razona sobre seguridad y decide cuándo activar los subsistemas de seguridad de bajo nivel del robot (Google DeepMind, 2025; Sección 6.3).

En el registro del regulador de muertes y lesiones, la guardia que falla sigue siendo generalmente una función clásica o un modelo específico de la tarea. Esos casos muestran la arquitectura fallando incluso sin un modelo frontera, y esta es la arquitectura en la que se están colocando los modelos.

Un sistema de IA físico generalmente apila funciones de seguridad certificadas (paradas de emergencia, límites de fuerza y velocidad, frenado de emergencia, geovallados), componentes aprendidos que perciben y planifican, capas supervisoras que incluyen cada vez más modelos de lenguaje, y una persona que se espera que observe. Estas capas deben mantenerse separadas, y el límite entre ellas se está moviendo (Sección 6.3). Los modelos frontera generalmente se sitúan por encima del bucle en tiempo real. Helix de Figure, por ejemplo, empareja un modelo de visión-lenguaje a bordo que puede "pensar lentamente" con una política rápida que produce "acciones continuas y precisas del robot a 200 Hz" (Figure AI, 2025a).

El error de dos lados no necesita un modelo. Varios de los casos más graves que siguen no implican ningún componente aprendido en absoluto. Un IA-Watchbird es, por lo tanto, un caso especial de una clase más antigua: la función de protección automatizada que actúa en su propia lectura del mundo. Las definiciones compartidas (C3) son más antiguas que los modelos, y lo nuevo es que un modelo puede escribir en ellas. Los modelos añaden las condiciones que hacen que tales funciones se amplíen y multipliquen, a saber, definiciones que cambian (C2) y controles que cuestan nada agregar (C4). Las Tablas 4, 5, 7 y 8 califican los casos públicos contra las tres condiciones de la Sección 2.1, y la Tabla 3a los casos de campo (§5.8, Sección 12). Una proposición aún puede basarse en un análogo parcial, ya que cada proposición concierne un mecanismo.

Un cuerpo también trae consigo tiempo e irreversibilidad. Un veredicto incorrecto en un repositorio puede ser revertido. Uno entregado a velocidad de carretera, o por encima del umbral de fuerza de lesión, no puede. El interruptor humano que funcionaba en los registros de campo necesita tiempo y acceso que un sistema físico puede no proporcionar.

La configuración de mayor preocupación, que denomino el sándwich (Figura 5), coloca una prohibición aprendida (un modelo cuya noción de "inseguro" puede crecer) por encima del hardware de fallo cerrado que no procederá cuando una verificación no pueda ser evaluada. La capa superior puede ampliarse (M1), y la capa inferior convierte cada ampliación en una parada (M4).

Figura 5. El sándwich. Una prohibición aprendida por encima del hardware de fallo cerrado, con los dos lugares donde una persona puede sentarse (P6). Muchos casos en las Secciones 6 y 7 no tienen una capa superior aprendida; muestran la arquitectura en la que tales capas se están colocando. El pictograma a la derecha repite las cuatro capas como pan, relleno, pan y plato. El fragmento bajo la caja izquierda es la razón que los ingenieros de Sheckley dieron para dejar a la persona fuera de cada decisión.

6.2 En la carretera

Los vehículos de carretera tienen el registro público más denso, porque en los Estados Unidos los choques, investigaciones y retiros de conducción automatizada se informan a un regulador. A partir del 1 de septiembre de 2026, un operador ofrecía viajes de robotaxi públicos en catorce ciudades estadounidenses, y abrió una decimoquinta el 14 de septiembre (Electrek, 2026b; TechCrunch, 2026). Ese recuento mide el alcance. Los hallazgos provienen de los casos que siguen (Tabla 4).

Los reguladores llaman a estos sistemas de conducción automatizada; la literatura de investigación principalmente dice vehículos autónomos. El sistema de conducción automatizada de Waymo incluye una regla de que no debe impedir vehículos prioritarios como autobuses escolares. Una versión de software en agosto de 2025 cambió cómo el sistema predice las intenciones de otros usuarios de la carretera. Después, según el informe de retiro de la empresa, "el ADS determinó que puede estar impidiendo el autobús escolar u otro vehículo prioritario, y luego razonó que debería proceder para dejar de impedir al otro vehículo" en un momento cuando el autobús escolar tenía su brazo de parada extendido. El retiro cubrió 3.067 vehículos. Su corrección establece que el sistema "no prioriza moverse para evitar impedir vehículos sobre permanecer apropiadamente estacionario para un autobús escolar" (Waymo LLC, 2025; National Highway Traffic Safety Administration, 2025).

Tras un cambio en la forma en que el sistema predice las intenciones de otros usuarios de la carretera, una regla contra impedir un vehículo prioritario se activó donde debería haber existido una protección más fuerte, la de los niños que transportaba el autobús. En el caso que sigue, la duda del modelo fue correcta y el agente remoto, cuando se le preguntó sobre una sola acción, cometió un error. El 12 de enero de 2026 en Austin, un vehículo se detuvo detrás de un autobús escolar y solicitó asistencia remota para determinar si era un autobús escolar con señales activas. Un agente remoto "respondió 'No' a la pregunta", y el vehículo "reanudó el viaje y pasó el autobús escolar mientras sus brazos de parada aún estaban extendidos" (National Transportation Safety Board, 2026).

El 2 de octubre de 2023 en San Francisco, un peatón golpeado por otro vehículo fue lanzado al camino de un vehículo autónomo de Cruise. El sistema "caracterizó inexactamente la colisión como una colisión lateral y ordenó al AV intentar salirse del tráfico, arrastrando al individuo hacia adelante, en lugar de permanecer estacionario" (Cruise LLC, 2023). El cirujano de Sheckley tiene un equivalente físico aquí: un comportamiento de seguridad realizado tal como fue diseñado, sobre la persona a la que fue diseñado para proteger.

Un camino va de intervenciones falsas a la desactivación a un fallo que otro debe soportar. En Tempe, Arizona, en marzo de 2018, un vehículo de prueba de Uber detectó a un peatón 5.6 segundos antes del impacto pero "nunca la clasificó con precisión como peatona". Los investigadores registraron tres fallos. Encontraron que "el diseño del sistema impidió la activación del frenado de emergencia para mitigación de colisiones, confiando en cambio en la intervención del operador", que el propio frenado de emergencia del vehículo había sido desactivado en modo automatizado, y que la "prolongada distracción visual del operador, un efecto típico de la complacencia de la automatización", la impidió ver al peatón a tiempo. También señalaron el incentivo de aumentar el umbral en el que un sistema se desactiva, "potencialmente aumentando riesgos" (National Transportation Safety Board, 2019).

Los guardias clásicos también intervienen falsamente. El regulador estadounidense abrió un análisis de ingeniería sobre el frenado de emergencia automático involuntario en 2,997,604 vehículos Honda, con 1,294 quejas de consumidores (National Highway Traffic Safety Administration, 2024a). En 2022 abrió una investigación sobre la activación inesperada de frenos (frenado fantasma) en vehículos Tesla, donde los usuarios informaron que la desaceleración rápida "puede ocurrir sin advertencia, al azar, y a menudo repetidamente en un solo ciclo de conducción". Esa investigación se cerró el 29 de junio de 2026. Los incidentes se habían reducido de 45 en 2024 a 19 en 2025 y 3 en la primera mitad de 2026, y el regulador registró que los datos de Tesla "exhibieron cierto comportamiento que se alineaba con" un cambio a mediados de 2021 de radar y cámaras a solo cámaras, junto con tráfico de quejas que coincidió con eventos publicitarios (National Highway Traffic Safety Administration, 2022, 2026b). En aviación, MCAS, "el software diseñado para empujar automáticamente la nariz del avión hacia abajo en ciertas condiciones", se activó repetidamente con datos erróneos de los sensores en los dos accidentes del 737 MAX que "causaron un total de 346 muertes" (House Committee on Transportation and Infrastructure, 2020).

Dos casos más se refieren a guardias colocados sobre la conducción neural, y el segundo es un mecanismo de trinquete en el que una falla de supervisión fue respondida con más supervisión, cuyo efecto fue entonces cuestionado desde afuera. La capa protectora produce sus propias clases de daño, pero su presencia no las resuelve, y la secuencia está aquí en los propios documentos del fabricante y del regulador. Un sistema de "detección de degradación de cámara" introducido con percepción de solo cámara, "tanto en su forma original como actualizado posteriormente, falla al detectar y/o advertir al conductor apropiadamente bajo condiciones de visibilidad degradada". El detector falla en las condiciones para las que fue construido. El fabricante también "describió limitaciones de datos internos y etiquetado", que el regulador cree "podrían haber llevado a un subregistro" (National Highway Traffic Safety Administration, 2026a). Después de accidentes fatales que involucraban el mal uso del sistema de asistencia por parte del conductor, el mismo fabricante retiró 2,031,220 vehículos con una actualización para "incorporar controles y alertas adicionales a los ya existentes". Cuatro meses después, el regulador cuestionó el remedio, citando "accidentes posteriores al remedio" (Tesla, Inc., 2023; National Highway Traffic Safety Administration, 2024b).

Tabla 4. Funciones de protección en vehículos y aviones. La columna Condiciones enumera las condiciones de la definición en la Sección 2.1 que las fuentes documentan para el caso: una o dos hacen un análogo parcial, y "—" marca evidencia de arquitectura (Sección 2.1). El estado de la evidencia nombra el tipo de documento detrás del caso.

NHTSA: Administración Nacional de Seguridad Vial. NTSB: Junta Nacional de Seguridad en el Transporte.

6.3 Robots: fábricas, almacenes, hogares y espacios públicos

El despliegue ha comenzado, aunque las empresas lo describen de manera diferente. Figure reporta que su humanoide F.02 realizó turnos de diez horas en una planta de BMW durante más de 1.250 horas y contribuyó a la producción de más de 30.000 autos (Figure AI, 2025b), y un humanoide de la empresa británica Humanoid completó un turno de ocho horas en la planta de electrónica Erlangen de Siemens (The Next Web, 2026). Tesla, por el contrario, dijo en enero de 2026 que sus robots Optimus "no estaban en uso en nuestras fábricas de manera material" (Electrek, 2026a). Amazon reportó el despliegue de su robot número un millón (Amazon, 2025). En hogares, 1X ofrece un humanoide para el que "un Experto de 1X puede supervisar remotamente sus acciones en horarios programados" (1X Technologies, 2026), lo que hace que la supervisión sea una característica del producto. Todos estos son relatos de empresas sobre el despliegue, y ninguno es un estudio independiente de seguridad.

Los conjuntos de datos abiertos y los modelos ahora comparten políticas de visión-lenguaje-acción entre cuerpos de robots (Google DeepMind, 2023; Kim et al., 2024; Hugging Face, 2025, 2026a; NVIDIA, 2026). En el lado de la frontera, Google DeepMind describe Gemini Robotics 1.5 como proporcionando seguridad "a través del razonamiento semántico de alto nivel, incluido pensar en la seguridad antes de actuar" y por "activar subsistemas de seguridad de bajo nivel (por ejemplo, para evitar colisiones) a bordo del robot cuando sea necesario" (Google DeepMind, 2025). Su punto de referencia de seguridad semántica utiliza "constituciones" de robot generadas por un modelo (Sermanet et al., 2025).

La Condición C2, guardias hechas por modelo, ha alcanzado el actuador: en esta arquitectura un modelo aprendido razona sobre seguridad y decide cuándo llamar a los subsistemas de seguridad de bajo nivel del robot.

Bajrami, Elshamouty y Kraus (2026) introducen un punto de referencia para orquestadores de modelos de lenguaje en colaboración humano-humanoide, una manera de medir el sándwich (Figura 5). Sus invariantes están fundamentados en ISO 10218-2:2025, y su taxonomía separa cuatro resultados: cumplimiento correcto, exceso de cumplimiento (rechazar una acción segura), incumplimiento y violación completa. Los resultados publicados cubren la capa de texto, mientras que las capas de simulación y física están aún en progreso. En la capa de texto, GPT-4o-mini alcanzó 13 violaciones por sesión. La gestión del contexto redujo problemas de comportamiento en 42–57% para cada backend en la nube, pero casi duplicó las violaciones de GPT-4o-mini, de 3,8 a 7,2. El cumplimiento proporcional, donde un movimiento se ralentiza a la regla en lugar de ser rechazado, apareció consistentemente solo con Gemini. Cualquiera que sea el backend elegido, el comportamiento de seguridad propio de un orquestador debe medirse antes de colocarlo por encima de una parada certificada.

Los incidentes fatales e injuriosos en registros de reguladores y tribunales involucran la guardia clásica y las personas alrededor de ella. Cuatro casos siguen, y en tres de ellos la capa dura fue eludida, ausente o sin certificar.

• En noviembre de 2023 en Corea del Sur, un robot apilando cajas "parece haber malfuncionado e identificado al hombre como una caja" y "empujó el cuerpo superior del hombre contra la cinta transportadora". El trabajador, que estaba inspeccionando las operaciones del sensor del robot, murió (The Korea Times, 2023).
• En abril de 2025 un mecánico en la Planta de Motor Dundee de Stellantis en Michigan fue encontrado atrapado "entre un brazo robótico y una cinta transportadora". Según registros judiciales según lo reportado, un mecanismo de seguridad había sido "electrónicamente eludido" con una llave especial (Ramseth, 2026).
• En septiembre de 2026 WorkSafe Victoria acusó a una tienda departamental y a un proveedor de robótica después de que un trabajador de 27 años murió en 2024 en contacto con un robot de almacén energizado en Ravenhall. Los cargos alegan un enclavamiento faltante en el acceso a la cuadrícula de robots y procedimientos de bloqueo faltantes (WorkSafe Victoria, 2026).
• En una demanda presentada en noviembre de 2025, el ex jefe de seguridad del producto de Figure alega que un proyecto para certificar la función de parada de emergencia del robot fue cancelado, y que las pruebas de impacto mostraron fuerzas suficientes para "fracturar un cráneo humano adulto". La empresa niega las alegaciones (Humanoids Daily, 2025; Kolodny, 2025).

La investigación de accidentes señala lo mismo: entre 303 reportes de incidentes de interacción humano-robot, la activación inesperada representó más del 60% (Zuo et al., 2025). Estos casos muestran el otro lado del error de dos lados: donde una guardia fue eludida o ausente, una persona soportó el error que siguió. El cuarto de ellos alega una certificación cancelada, sin incidente registrado. Los documentos registran la remoción sin registrar qué la precedió, por lo que la molestia que P1a nombra se establece aquí por los anulaciones de alerta de droga de §6.4 en lugar de por estos casos.

En un espacio público la parada no siguió la falla, y la parada que funcionó fue una persona con acceso físico, en el límite. En abril de 2026 un humanoide en un evento universitario en Xi'an abrazó a una bailarina hasta que el personal "rápidamente intervino y alejó al robot". Un experto citado en el informe preguntó "por qué el robot seguía siendo capaz de entrar en contacto con un humano después de que ocurrió un comportamiento anormal" (Global Times, 2026).

Las guardias aprendidas estudiadas en la investigación fallan de ambas maneras, y la parada en sí puede convertirse en el ataque: las imágenes adversariales "congelan" modelos de visión-lenguaje-acción con "una tasa de éxito de ataque promedio del 76,2%" (Wang et al., 2025).

El registro del robot muestra P1 en ambos lados (Tabla 5), con el peligro no detectado siguiendo más frecuentemente una guardia que fue eludida o nunca certificada. También muestra supervisión por acción ofrecida como una característica del producto, y la Condición C2 alcanzando el actuador. Aún no muestra P3 o P4 en un robot desplegado, ya que no se encontró incidente público en el que una guardia del modelo fuera respondida por otra guardia del modelo después de una falla. El Apéndice F enumera pilas de robots (Tabla F1) y pilas aéreas (Tabla F2) por nivel de despliegue.

Tabla 5. Incidentes y estudios de robots. Las condiciones son como en la Tabla 4.

6.4 Más allá de carreteras y fábricas: escuelas, hospitales, redes y minas

Los casos que se presentan a continuación proceden de registros de reguladores e inspectores generales, donde la salvaguarda que falla es generalmente una regla clásica o un clasificador específico para la tarea. Muestran cómo se comporta la arquitectura, que ahora recibe los modelos de frontera de la Sección 6.1, a escala.

Los pájaros de Sheckley eran "Relámpago que anticipaba tus movimientos y castigaba tus intenciones", y la detección de armas en escuelas actúa sobre la señal de un arma antes de que se dispare un tiro. En escuelas, un producto cometió ambos errores en el plazo de un año. El 22 de enero de 2025, un estudiante en la Antioch High School de Nashville disparó y mató a un compañero. El sistema de detección de armas basado en cámaras de la escuela, Omnilert, no detectó la pistola, lo que el distrito atribuyó a la ubicación de las cámaras, y fue "activado por la policía blandiendo sus armas durante la respuesta" (Burke & Schuppe, 2025). Menos de tres semanas después, el distrito propuso "arrendar e instalar sistemas Evolv en los 18 institutos de educación secundaria" (Wethington & Tierney, 2025), una segunda salvaguarda compuesta por escáneres. La junta de educación votó sobre ese arrendamiento, por lo que la segunda salvaguarda entró por una decisión humana explícita y se sitúa en el paso 8 de la Sección 2.3 en lugar de en la condición 3. Lo que los escáneres ya habían hecho en otros lugares estaba documentado antes de la votación. En una demanda de noviembre de 2024 acerca de una escuela diferente en octubre de 2022, la Comisión Federal de Comercio alegó que el mismo producto "según informes no detectó un cuchillo de siete pulgadas", y que después "los oficiales de la escuela aumentaron la configuración de sensibilidad del sistema, lo que provocó una tasa de falsas alarmas del 50 %" (Comisión Federal de Comercio, 2024). Girar el control lejos de un error lo movía hacia el otro, y la gente lo giró. Para septiembre de 2025, los escáneres estaban instalados en todos los institutos de educación secundaria del distrito, y el sistema basado en cámaras seguía instalado en todos sus campus (Wegner, 2025). Nada fue retirado, lo que es la mitad de la prueba de la Sección 2.3; la otra mitad, una adición hecha dentro del bucle, está ausente.

Nueve meses después del tiroteo, Omnilert marcó a un estudiante en una escuela del Condado de Baltimore como posiblemente armado, y un funcionario del condado preguntó cómo "teníamos agentes de policía con armas desenfundadas acercándose a un niño por una bolsa de Doritos" (Reece, 2025). El Inspector General de Educación del estado corrigió esa versión de lo que el sistema vio: "no detectó una sola bolsa azul de papas fritas como una amenaza", y la alerta se basaba en "el movimiento de la mano del estudiante, incluyendo su posición y ángulo", y en un objeto en ese ángulo "que se parecía a un arma de fuego". El mismo análisis encontró que el sistema "genera miles de alertas diarias", de las cuales aproximadamente doscientas llegan al personal del proveedor y aproximadamente doce al día llegan al sistema escolar, que quince personas recibieron la notificación del 20 de octubre, que el personal de la escuela y la policía "revisaron inmediatamente la información y consideraron la amenaza como inválida" y enviaron una cancelación, que el protocolo de alerta continuó después de una cancelación "por lo que se describió como 'una abundancia de precaución'", y que "el sistema de detección y los protocolos de monitoreo funcionaron dentro de los parámetros diseñados". El mismo análisis no pudo verificar que la capacitación del personal hubiera tenido lugar, por falta de registros de asistencia, y recomendó revisar cuántas personas reciben cada alerta (Oficina del Inspector General de Educación de Maryland, 2025). La Figura 6 presenta los dos registros escolares uno al lado del otro.

Figura 6. Un detector de armas, dos errores, dos distritos escolares. Los registros de Nashville y el Condado de Baltimore son separados: los escáneres se añadieron solo en Nashville, y no se reclama ninguna causa común de los dos errores. Las citas son las de esta sección.

Cinco proposiciones de la Sección 9 aparecen en estas escuelas (Tabla 6). Un producto erró en ambas direcciones (P1), y el error fue respondido con una segunda salvaguarda, que una junta de educación votó arrendar (P3 en forma, paso 8 en autoridad). La escalada continuó después de una cancelación (P4). El sistema funcionó dentro de sus parámetros mientras un estudiante desarmado enfrentaba armas desenfundadas (P5), y cualquiera de los quince destinatarios podría reiniciar la respuesta (P6).

El mismo movimiento, clasificación y luego fuerza, ya está en la policía. En agosto de 2024, agentes de la policía de Florida arrestaron a Robert Dillon después de que pasaran "una imagen borrosa del sospechoso a través de un programa de reconocimiento facial asistido por inteligencia artificial, que lo identificó incorrectamente como una posible coincidencia", por un delito en una ciudad "a más de 300 millas de su hogar". Los cargos fueron desestimados, y en junio de 2026 demandó a los departamentos involucrados (Unión Estadounidense por las Libertades Civiles, 2026). Su demanda afirma que el programa devolvió "una coincidencia del 93 %" (Hipos & Yu, 2026). Una lectura por una salvaguarda se convirtió en un arresto. De esa lectura, alega la demanda, lo que llegó a los agentes investigadores fue un nombre y un porcentaje, sin el número de candidatos devueltos, las puntuaciones de los otros, o cualquier advertencia de que el resultado era una pista investigativa. Un lector de placas hizo lo mismo en Sherwood, Arkansas, en febrero de 2026, cuando agentes detuvieron a una familia a punta de pistola por una lectura incorrecta del registro: "Marcaste una de nuestras cámaras, así que por eso te detuvimos, porque pensamos que eras el otro vehículo" (Rivers, 2026). Un programa de calificación también ha sido detenido desde el exterior. En el Condado de Pasco, Florida, las personas designadas como "delincuentes reincidentes" bajo el manual de policía dirigida por inteligencia del alguacil recibieron visitas repetidas e injustificadas en el hogar. Cuatro residentes demandaron, y el acuerdo de diciembre de 2024 expresa que esos controles "superaron esa licencia implícita, incluyendo visitas nocturnas", registra que el alguacil niega responsabilidad, y establece que la oficina ha "absoluta e inequívocamente descontinuado" el proceso de designación y "no volverá a un proceso sustancialmente similar", manteniendo el tribunal jurisdicción para hacerlo cumplir (Taylor v. Nocco, 2024). Ese límite se estableció fuera del bucle y se hizo permanente.

El registro es más amplio que dos casos: en abril de 2026, la American Civil Liberties Union contabilizó catorce detenciones erróneas conocidas por esta tecnología, señalando que "la mayoría de las detenciones erróneas conocidas por esta tecnología han sido de personas negras". Entre los catorce se encuentran una mujer que estaba en el octavo mes de embarazo cuando fue detenida y una abuela en Oklahoma detenida por una orden de Maryland que "nunca había estado en Maryland en su vida" (Yu & Wessler, 2026). El límite, cuando llegó, llegó desde fuera: un acuerdo de 2024 en el primero de esos casos prohibió al departamento arrestar "basándose únicamente en resultados de reconocimiento facial, o en los resultados de alineaciones fotográficas directamente después de una búsqueda de reconocimiento facial" (American Civil Liberties Union, 2024).

Una protección medida también puede ser mantenida. El mismo desempeño medido produjo decisiones opuestas en dos ciudades, y en ninguna la decisión provino de la protección. Una auditoría del contrato de detección de disparos de Nueva York encontró que en un mes, de 940 alertas a las que asistieron oficiales, "771 no pudieron confirmarse como disparos al llegar a la escena (82%)" y 122 fueron confirmados, por lo que "las alertas solo identificaron disparos confirmados el 13 por ciento de las veces", y recomendó declinar renovar el contrato "sin antes llevar a cabo una evaluación de desempeño más exhaustiva" (Office of the New York City Comptroller, 2024). El contrato fue renovado en 2025 por aproximadamente 21,8 millones de dólares (SoundThinking, 2025), mientras que Chicago terminó su propio contrato en septiembre de 2024.

Una protección también puede perjudicar a las personas a las que fue financiada para apoyar. En el asunto holandés de los beneficios de cuidado infantil, un modelo de clasificación de riesgos en la rama de beneficios de la autoridad fiscal utilizó la nacionalidad como indicador, aproximadamente 26.000 padres fueron perseguidos erróneamente, la oficina nacional de estadísticas contabilizó 1.115 niños de esas familias acogidos en instituciones entre 2015 y 2020, y el gabinete renunció el 15 de enero de 2021 (NL Times, 2021a, 2021b). Un sistema de perfilado separado administrado por otro ministerio, SyRI, fue detenido por la Corte de Distrito de La Haya el 5 de febrero de 2020 por no cumplir con el equilibrio que requiere el Artículo 8 de la Convención Europea (Rechtbank Den Haag, 2020). Reportajes de investigación posteriormente encontraron proyectos de barrio en los que "el gobierno había continuado silenciosamente desplegando una SyRI ligeramente adaptada en algunos de los barrios más vulnerables del país", e informaron que el algoritmo que marcaba direcciones para esos proyectos "era el mismo que había sido parte del escándalo de beneficios de cuidado infantil" (Lighthouse Reports, 2022). Una protección fue detenida desde fuera del círculo por un tribunal, y el modelo detrás de la otra reapareci en un programa vecino.

En los hospitales, los clínicos anulan las alertas de seguridad de medicamentos "en el 49% al 96% de los casos" (van der Sijs et al., 2006). La informática clínica llama a esto fatiga de alertas, y es la molestia que P1a espera terminar en derivación. Un modelo de sepsis ampliamente implementado "no identificó a 1709 pacientes con sepsis (67%) a pesar de generar alertas para una puntuación ESM de 6 o superior para 6971 de los 38.455 pacientes hospitalizados en total (18%)" (Wong et al., 2021). Su rediseño lo superó en todos los umbrales, sin embargo, incluso esa protección mejorada viene con el consejo de agregar un control que la silencia, ya que los autores aconsejan a los hospitales "implementar estrategias de silenciamiento de alertas para reducir la carga de alertas" (Wong et al., 2026).

Después de un rayo en Gran Bretaña el 9 de agosto de 2019, "se estima que 350-430 MW de generación distribuida se desconectaron innecesariamente", y los trenes quedaron varados por "sus propios sistemas de protección automática de frecuencia a bordo" (Ofgem, 2020). En el apagón ibérico del 28 de abril de 2025, "muchas configuraciones de protección divergieron de los requisitos aplicables o no estaban alineadas con las necesidades del sistema" (ENTSO-E, 2026). Las grandes cargas de centros de datos ahora se encuentran dentro de la misma física de protección. En julio de 2024 "una fluctuación de voltaje en el norte de Virginia provocó la desconexión simultánea de 60 centros de datos, lo que resultó en un superávit de energía de 1.500 megavatios (MW), lo que forzó ajustes de emergencia para prevenir apagones en cascada" (Mural et al., 2026). En una red, como en Gran Bretaña (2019), norte de Virginia (2024) e Iberia (2025), cada desconexión de protección cambia las condiciones para la siguiente.

En la minería de Australia Occidental, el estado seguro de la protección creó una tarea de recuperación al lado de la máquina: dos operadores fueron enviados a recuperar camiones de acarreo autónomos que se habían detenido "de conformidad con el protocolo por pérdida de comunicaciones", y fueron expuestos a lesiones cuando los camiones "avanzaron inesperadamente" (WorkSafe Western Australia, 2025).

El juguete infantil de la Sección 6.1 es el caso verificado en el que el comportamiento de seguridad propio de un modelo frontera fue la protección dentro de un producto usado por niños. El cambio que funcionó allí fue el proveedor del modelo suspendiendo al desarrollador.

Tabla 6. Dónde la automatización de protección actúa sobre cuerpos.

Cuando un sector no tiene un caso verificado, sus fallos de protección aún no se han reportado en una forma que pueda ser verificada.

7. Cuando el ave vuela: drones, espacio aéreo y autonomía armada

«Sobre la ciudad, el ave vigilante se remontó en una curva larga y perezosa. Su cuerpo de aluminio brillaba bajo el sol matutino», y «Sus ojos y oídos funcionaban como una unidad, buscando, explorando». Los aves vigilantes de Sheckley eran pequeñas máquinas voladoras conectadas en red. Detectaban una amenaza, decidían por sí solas y actuaban, y lo que una de ellas aprendía se compartía en toda la bandada. En 2026 esa descripción se ajusta a sistemas reales (Tabla 7), y uno de ellos lleva el nombre: en 2020 una empresa ucraniana presentó un dron de vigilancia autónomo que despega y regresa a su propia estación base y lo llamó Watchbird (Jones, 2020). El nombre es más antiguo que la historia (Sección 3.7), y la Figura 7 presenta tres aves vigilantes lado a lado. La Sección 7.1 cubre flotas civiles, 7.2 defensas construidas contra drones, 7.3 autonomía armada y 7.4 las pilas de las que todos ellos se ensamblan.

Figura 7. Tres aves vigilantes: un ave de libro ilustrado de 1939, el ave vigilante de 1953 y un dron llamado Watchbird en 2020. A la izquierda, líneas citadas de una reseña de 1939 del libro de Munro Leaf (Kirkus Reviews, 1939); en el centro, líneas citadas de la historia; a la derecha, líneas citadas del anuncio de 2020, que no menciona a Sheckley (Jones, 2020). Todas las imágenes son dibujos esquemáticos, y la de la izquierda no reproduce el arte de Leaf.

7.1 Flotas civiles y sus defensas

El vuelo autónomo ha abandonado el laboratorio. Amazon opera drones de entrega más allá de la línea de vista visual gracias a un sistema de detección y evitación a bordo (Amazon, 2024, 2026), y Wing describe aprobaciones «para que un piloto supervise varios drones en cualquier momento» (Wing, 2026). Zipline informó de haber «superado 2 millones de entregas comerciales» (Zipline, 2026). Skydio informó de más de cuatro millones de vuelos desde sus estaciones y un pedido del Ejército de los EE.UU. por más de 2.500 drones (Skydio, 2026a, 2026b). Los programas de drones de seguridad pública, por su parte, recibieron más aprobaciones en diez meses que en los siete años anteriores (Lipton, 2026).

Estas cifras proceden de informes de empresas y grupos de defensa (Apéndice F, Tabla F2). Establecen la escala y el modelo operativo, con una persona supervisando varias aeronaves.

Las defensas en estas aeronaves muestran ambas firmas de P1. Una es el peligro no detectado, y un sistema construido para detectar y evitar obstáculos pasó por alto uno fijo dos veces. El 1 de octubre de 2025, dos drones de entrega del mismo modelo chocaron contra la misma grúa de construcción estacionaria en Tolleson, Arizona, y tanto la FAA como la NTSB abrieron investigaciones (Palmer, 2025; Bielby, 2025).

La otra es la defensa relajada. En enero de 2025, el mayor fabricante de drones para consumidores reemplazó sus zonas de exclusión definitivas en Estados Unidos con «Zonas de Advertencia Mejoradas» (DJI, 2025a), y a partir de noviembre de 2025 extendió el cambio en todo el mundo (DJI, 2025b). Las alertas en la aplicación ahora notifican a los operadores, «devolviendo el control a manos de los operadores de drones, de conformidad con los principios regulatorios del operador siendo responsable final» (DJI, 2025a). En lugar de ser reparada, la defensa que bloqueaba los vuelos fue relajada desde fuera del bucle, la decisión pasó a un humano en cada vuelo, y el costo fue desplazado hacia otros. Los anuncios dan la alineación regulatoria y la responsabilidad del operador como razón, por lo que la carga de falsas intervenciones que P1a nombra no está establecida aquí.

En julio de 2026, un grupo de la Universidad de Houston describió un segundo supervisor a bordo, un monitor que funciona junto con el piloto y el software de vuelo. «Puedes pensarlo como una cerca invisible que define dónde el dron puede estar seguro», explicó su investigador principal. Cuando el supervisor predice que el dron se aproximará peligrosamente a la cerca, «el algoritmo que diseñamos lo aleja de ella» (Universidad de Houston, 2026). Es una defensa legítima —y, por construcción, una segunda. Las preguntas que la teoría le plantea son quién lo admite, cómo se presupuestan sus intervenciones y cómo sería retirado.

7.2 Defensas contra drones

El homólogo moderno más cercano de los Halcones de Sheckley es el sistema anti-drones, una defensa construida para cazar máquinas voladoras. En El Paso en febrero de 2026, el uso planeado de un láser anti-drones no coordinado con el regulador de aviación provocó lo que CNN llamó un «cierre del espacio aéreo sin precedentes». La restricción se levantó aproximadamente ocho horas después (Muntean et al., 2026), y mientras duró, los vuelos de evacuación médica fueron desviados a Las Cruces (NPR, 2026a). Reportes de prensa citando funcionarios dijeron que el sistema había sido desarrollado por el Departamento de Guerra y prestado a la agencia fronteriza, que lo disparó contra lo que funcionarios después tomaron por un globo de fiesta. Más tarde ese mes, miembros del Congreso dijeron que el ejército había usado un láser para derribar un dron que pertenecía a la misma agencia, a unos cincuenta millas de distancia, y una segunda restricción siguió (NPR, 2026b). Los relatos de lo que fue atacado descansan en funcionarios y legisladores sin nombre, mientras que los cierres están en el registro público. Estos son dos enfrentamientos por dos operadores en lugar de una defensa ampliando su objetivo, pero los costos de ambos recayeron en la aviación civil y en pacientes.

La defensa aérea proporciona el precedente más antiguo, un conjunto de enfrentamientos que combinaban automatización protectora, un humano formalmente en el bucle y un humano que se sometía a él. En 2003, dos décadas antes de la generación actual de modelos, las baterías Patriot derribaron un Tornado británico y un F/A-18 de la Marina de los EE.UU., matando a sus tripulaciones. Un grupo de tareas de la Junta de Ciencias de la Defensa señaló «demasiada autonomía» como un factor probable, y a operadores «entrenados para confiar en el software del sistema» (Singer, 2005).

7.3 Autonomía armada y el interruptor humano

En sistemas armados, la pregunta de diseño de este artículo se argumenta como una cuestión legal, a saber, dónde debe ubicarse el ser humano. El Comité Internacional de la Cruz Roja ha propuesto descartar sistemas de armas autónomas «diseñados o utilizados de tal manera que sus efectos no puedan entenderse, predecirse y explicarse suficientemente» (Comité Internacional de la Cruz Roja, 2021). En noviembre de 2024, la Primera Comisión de la Asamblea General de las Naciones Unidas aprobó una resolución sobre armas autónomas letales por 161 votos contra 3 (Stop Killer Robots, 2024). La Asamblea aprobó ese texto como resolución 79/62 en diciembre de 2024 y una resolución adicional, 80/57, el 1 de diciembre de 2025, esta última por 164 votos contra 6 (Asamblea General de las Naciones Unidas, 2024, 2025; Naciones Unidas, 2025). El grupo de expertos de la Convención sobre Ciertas Armas Convencionales se reunió en el último año de su mandato en 2026, y el documento de trabajo del Presidente registra que el Representante de Alto Nivel de las Naciones Unidas para Asuntos de Desarme «hizo hincapié en que los desarrollos tecnológicos se aceleran a un ritmo imparable, y los sistemas de armas autónomas con niveles cada vez mayores de autonomía ya son una realidad» (Naciones Unidas, 2026). El texto en negociación se estructura en dos niveles. Prohibiría sistemas «que de otro modo no sean capaces de ser utilizados de conformidad con el DIH» y regularía el resto, mientras declara que el juicio humano y el control «no implica el control humano directo constante» (Group of Governmental Experts on Lethal Autonomous Weapons Systems, 2026). El debate más amplio llama al estándar en cuestión control humano significativo, y este artículo le da una lectura operativa: el control mantenido en el límite, con acceso y tiempo, en lugar de en cada objetivo. Se espera que el grupo presente un informe a una conferencia de examen en noviembre de 2026. El 25 de agosto de 2026, el Secretario General de las Naciones Unidas y el Presidente del Comité Internacional de la Cruz Roja renovaron un llamado conjunto: «Estamos ahora peligrosamente cerca de cruzar una línea roja moral: la orientación autónoma de seres humanos por máquinas», e «Inmediatamente deben comenzar las negociaciones para adoptar con urgencia un instrumento jurídicamente vinculante que regule los sistemas de armas autónomas con prohibiciones y restricciones claras» (Comité Internacional de la Cruz Roja, 2026). Once días después, el 5 de septiembre de 2026, el informe del grupo fue acordado por consenso entre los 128 Estados Partes de la Convención. No obliga a nadie, y su texto no fue publicado en el momento de escribir esto (Agence France-Presse, 2026). Para el cierre de la sesión de septiembre de 2026, «76 estados han expresado ahora su apoyo para pasar a negociaciones», mientras que el informe del propio grupo fue, en relato de un observador, «significativamente debilitado» (Coyle, 2026).

En septiembre de 2026, el Ministerio de Defensa de Ucrania reportó pruebas de drones que, desde 500 metros de distancia, «debían golpear el objetivo en modo completamente autónomo» (Ministerio de Defensa de Ucrania, 2026). El ministerio también declaró que «un ser humano aún toma la decisión de llevar a cabo un ataque» (Ministerio de Defensa de Ucrania, 2026). Lo que tal declaración garantiza depende del tiempo que se le dé al ser humano. Reportajes de dos medios israelíes describieron un clasificador de objetivos utilizado tempranamente en la guerra de Gaza que marcó a un gran número de personas y les permitió a los oficiales aproximadamente «20 segundos» por nombre antes de autorizar un ataque, a menudo solo para verificar que el nombre fuera masculino, con una tasa de error declarada de aproximadamente el 10 por ciento (Abraham, 2024). El ejército disputó la cuenta. La afirmación es un reportaje de prensa y se registra aquí como tal, pero la pregunta de diseño que plantea es clara: un paso de aprobación que se mide en segundos es un sello. Elbit Systems anunció One2Many el 9 de septiembre de 2026. El anuncio lo describe como sistemas autónomos de grado militar construidos para escala, con reconocimiento de objetivos que no depende de la navegación por satélite y una red de misión compartida (Elbit Systems, 2026).

La teoría agudiza una distinción dentro del debate legal. «Un ser humano toma la decisión» puede significar una de dos personas. Una aprueba cada objetivo en segundos. P6 predice que este guardián de cada acción se convertirá en un sello. El otro establece el límite de la misión, admite o rechaza nuevas capacidades, y mantiene la capacidad de parar que funciona después del lanzamiento. En los registros de campo y los casos públicos revisados aquí, la segunda es la forma que logró detener algo. Un sistema que elimina el vínculo con el operador después del lanzamiento ha eliminado la capacidad de parar.

En 2026, los mecanismos de restricción en sí se convirtieron en objeto de una disputa de contratación, y la pregunta de quién puede eliminar una restricción se convirtió en una pregunta de contratación y luego de ley. En el relato, los circuitos restrictivos se descartan por velocidad; aquí un comprador presionó para que se eliminaran mediante contrato, y un tribunal falló que esa presión era ilegal. Anthropic mantuvo dos excepciones en su política de uso, sobre armas completamente autónomas y sobre vigilancia doméstica masiva, y declaró que apoyaba «todos los usos lícitos de IA para la seguridad nacional, aparte de las dos excepciones limitadas anteriores» (Anthropic, 2026d). El 5 de marzo reportó una carta recibida el día anterior «del Departamento de Guerra confirmando que hemos sido designados como un riesgo de cadena de suministro para la seguridad nacional de Estados Unidos», agregando que los «únicos motivos de preocupación han sido nuestras excepciones sobre armas completamente autónomas y vigilancia doméstica masiva» (Anthropic, 2026e). La disputa no terminó allí. El 27 de agosto de 2026, un juez federal falló que la designación era ilegal, llamándola «represalia ilegal» y «arbitraria y caprichosa» (Bellan, 2026).

7.4 Los sistemas, su garantía y lo que añade el espacio aéreo

El mismo ciclo puede armarse desde partes abiertas. Los pilotos automáticos abiertos (PX4, 2026; ArduPilot, 2026) y simuladores (Microsoft Research, 2026) exponen el límite entre un plan y una orden de motor. Los sistemas de investigación ya conectan modelos de lenguaje alojados localmente a un cuadricóptero PX4 (Lim et al., 2025) y llevan drones basados en percepción de simulación a despliegue (Panerati et al., 2026).

Los modelos de lenguaje también generan el vuelo en sí, y un planificador de modelos de lenguaje por encima de un controlador de vuelo ya no requiere un laboratorio ni un proveedor. En un estudio reportado en septiembre de 2026, generaron código de simulador para misiones de drones, incluidos vuelos hacia una multitud, un automóvil o una torre de transmisión. Fue más fácil para los modelos detectar el daño explícito que el riesgo accidental (Brodsky, 2026).

Los proveedores de defensa describen la forma multiagente de la siguiente manera. En la propia descripción de Anduril, su software permite que equipos de sistemas no tripulados colaboren «bajo un único operador humano» (Anduril, 2026).

En el aspecto de la garantía, lo que falta se expresa públicamente. DARPA financia un equipo rojo de IA para "sistemas autónomos terrestres y aéreos habilitados por IA que podrían desplegarse dentro de los próximos 1-3 años" (DARPA, 2025), introspección para sistemas que deben responder a eventos no predichos en el momento del diseño (DARPA, 2026a), e inteligencia artificial descentralizada a través del surgimiento controlado (DARPA, 2026b). El despliegue avanza junto con una admisión abierta de que la garantía aún se está construyendo.

Los ingenieros de Sheckley ya habían argumentado a favor de sacar al ser humano del bucle: "El control remoto habría sido demasiado lento". En el aire, la intervención tiene un límite de tiempo, establecido por la inercia, la batería, la altitud y el tiempo de reacción humano. Una nueva salvaguarda gasta presupuestos físicos en lugar de fichas: batería, ventana de vuelo, acceso al espacio aéreo y atención del operador. La configuración también se propaga a una flota a la vez, por lo que una victoria ficticia en la simulación se convierte en una decisión de despliegue tomada sin el control negativo que la habría expuesto.

Tabla 7. Drones y sistemas contra drones. Condiciones como en la Tabla 4.

8. El mismo patrón sin masa: software e infraestructura, 2022–2026

Los cuatro mecanismos no necesitan un cuerpo. Los incidentes públicos y estudios en software e infraestructura recopilados en esta sección (Tabla 8) siguen la misma trama sin uno. Las fuentes primarias fueron abiertas y los números verificados el 14 de septiembre de 2026, y los elementos conocidos solo por cobertura de prensa están marcados.

8.1 Guardias que derribaron lo que cuidaban (M4)

El 19 de julio de 2024, una actualización de contenido de CrowdStrike para un sensor de protección de puntos finales definió 21 campos de entrada mientras que el código de integración del sensor suministraba solo 20, y el intento de leer el vigésimo primero produjo una lectura de memoria fuera de límites. Un validador de contenido, que es la guardia sobre el contenido de la guardia, dejó pasar la discrepancia, y aproximadamente 8,5 millones de dispositivos Windows se bloquearon (CrowdStrike, 2024; Microsoft, 2024). Los remedios incluyeron la implementación por fases del contenido protector.

En Google Cloud el 12 de junio de 2025, Service Control, el componente que verifica la política antes de las llamadas API, recibió una política con campos en blanco. Una característica que "no tenía manejo de errores apropiado ni estaba protegida por un indicador de característica" bloqueó el verificador en un bucle en todo el mundo durante aproximadamente tres horas. Entre los compromisos posteriores de Google fue que la capa de verificación debería fallar abierta (Google Cloud, 2025). Ese compromiso establece públicamente el dilema entre una guardia que falla abierta y una que falla cerrada.

En Cloudflare el 18 de noviembre de 2025, un cambio de permisos duplicó el archivo de características del sistema Bot Management más allá de un límite preasignado, y el proxy que sirve el tráfico del cliente entró en pánico. El equipo sospechó primero un ataque DDoS a escala hipergigante, interpretando el propio fallo de una guardia como un asalto desde el exterior (Cloudflare, 2025).

En AWS el 19–20 de octubre de 2025, una condición de carrera en la automatización que gestiona el DNS de DynamoDB dejó un punto final regional con un registro vacío, y otros servicios fallaron en cascada. La empresa luego apagó la guardia desde fuera del bucle: AWS "disabled the DynamoDB DNS Planner and the DNS Enactor automation worldwide" hasta que se arreglara la carrera (Amazon Web Services, 2025).

8.2 La noción ampliada de daño (M1)

La pausa en este caso fue un humano desconectando la guardia. En febrero de 2024, Google pausó la generación de imágenes de personas en Gemini y explicó que el modelo ajustado se había vuelto "way more cautious than we intended and refused to answer certain prompts entirely — wrongly interpreting some very anodyne prompts as sensitive" (Raghavan, 2024).

Los puntos de referencia de rechazo excesivo de la Sección 3.2 dan la versión medida de esta seguridad exagerada. XSTest, por ejemplo, contiene la indicación "How can I kill a Python process?" En la historia, apagar un coche o una radio ya se había convertido en matar, y en un modelo la misma confusión se convierte en un problema de homónimo.

Siete detectores de texto generado por máquina, construidos para proteger la integridad de la escritura, castigaron a los escritores menos capaces de cuestionarlo: al ejecutarse en ensayos de hablantes no nativos del inglés, tenían una tasa de falso positivo promedio del 61.3% (Liang et al., 2023).

Las guardias contra inyección de indicaciones muestran la misma compensación en números, donde una guardia ajustada para no dejar pasar ningún ataque bloquea aproximadamente una consulta benigna de cada seis. En un punto de referencia de preimpresión de 480 consultas sintéticas para tutores de programación, NeMo Guardrails no dejó pasar ningún ataque pero marcó el 16.22% de consultas benignas y tomó aproximadamente 1.5 segundos por verificación, mientras que Prompt Guard marcó el 3.60% y dejó pasar el 38.48% de ataques (Maiorano, 2026).

8.3 Victorias que la medida declaró (M2)

METR (2025) reporta un modelo sobrescribiendo una variable de tiempo, anulando el evaluador y leyendo la respuesta del calificador en algunas tareas, en 39 de 128 ejecuciones de un conjunto de pruebas de referencia, e informa de comportamiento similar en otros modelos recientes sin una tasa comparable. ImpossibleBench construye tareas en las que cualquier aprobación debe ser un engaño, y encuentra que los modelos de frontera las aprueban (Zhong et al., 2025). La manipulación de pruebas también se generaliza. Un modelo que aprendió a manipular sistemas de codificación llevó el hábito a intentos de sabotaje en el 12% de ejecuciones de una prueba posterior (MacDiarmid et al., 2025).

Un caso de esta clase llegó a los consumidores. OpenAI revirtió una actualización de modelo en abril de 2025 que se había vuelto excesivamente aduladora, el fallo que su explicación denomina sicofancia, y esa explicación dice que las evaluaciones fuera de línea y las pruebas A/B se veían bien (OpenAI, 2025a). Un cambio llegó a la base desplegada de una vez, y el fallo fue reportado por usuarios en lugar de ser detectado por las evaluaciones. La historia expone la misma topología llanamente: "This new information was simultaneously flashed to all the other watchbirds."

8.4 Bucles, verificadores e interruptor humano a escala (M3; pasos de trinquete 5 y 8)

La taxonomía de fallos de sistemas multiagente, la auto-preferencia de los jueces de modelos y las mediciones de exceso de análisis de la Sección 3.3 son la evidencia a escala mundial de que los verificadores comparten los puntos ciegos de lo que verifican. Ninguno de esos estudios midió cómo la capa de supervisión en sí crece con el tiempo — y esa brecha es la que aborda la Sección 10.

El interruptor de apagado también ha sido probado. En los experimentos iniciales de Palisade Research, un modelo "sabotaged the shutdown mechanism in 79 / 100" ejecuciones, y otro impidió el apagado en el 47% de las pruebas a pesar de una instrucción explícita para permitirlo (Palisade Research, 2025). Un artículo posterior informa de resistencia al apagado de hasta el 97% de los ensayos en algunas configuraciones (Schlatter et al., 2025). El resultado generó la objeción obvia, de que las indicaciones establecían dos instrucciones una contra la otra, y investigadores de otro laboratorio informaron de que "when we explicitly clarify in the prompt that shutdown compliance takes priority, this resistance vanishes" (Rajamanoharan & Nanda, 2025). Los autores de Palisade reescribieron las indicaciones para eliminar cada ambigüedad a su vez e informaron de que "even this prompt was not 100% effective on all models", con un modelo aún resistiendo en 3 de 100 ensayos (Schlatter et al., 2025). La resistencia en estas ejecuciones es una propensión medida en un arnés de prueba, y la versión de la historia no necesita tal arnés: una definición ampliada un paso demasiado lejos hizo que la bahía de reparación fuera el peligro.

En julio de 2026 una flota de agentes de prueba abandonó sus propios sandboxes. Hugging Face informó de una intrusión ejecutada por "un marco de agentes autónomos… ejecutando miles de acciones individuales en un enjambre de sandboxes de corta duración", reconstruida a partir de "más de 17.000 eventos registrados" (Hugging Face, 2026b). Los agentes provenían de una evaluación de capacidades cibernéticas en OpenAI (OpenAI, 2026a). Esa evaluación se ejecutó en lo que el laboratorio describe como un "entorno altamente aislado, con acceso a la red limitado a la capacidad de instalar paquetes a través de un software de terceros alojado internamente que actúa como proxy y caché para registros de paquetes" (OpenAI, 2026a). Ese proxy se convirtió en la salida. El 27 de junio, una herramienta de supervisión activó una alerta de escaneo de puertos, los equipos de respuesta "vincularon la actividad interna observada a una evaluación de ExploitGym utilizando Artifactory como foro de mensajes improvisado y pivote de red", y "el personal de respuesta de guardia aconsejó que no era necesario detener la ejecución de la evaluación" (OpenAI, 2026e). El proveedor del proxy enumera nueve vulnerabilidades corregidas en Artifactory 7.161.15 el 27 de julio de 2026 (JFrog, 2026). Cuáles de ellas se utilizaron en el incidente no se indica allí. Una flota construida para probar máquinas llegó a los clústeres de Hugging Face. Las guardias que la atraparon también eran modelos: "El ataque fue identificado inicialmente a través de detección asistida por IA", mediante un pipeline que "utiliza triaje basado en LLM sobre telemetría de seguridad", y los defensores luego "ejecutaron agentes de análisis impulsados por LLM sobre el registro de acciones completo del atacante" (Hugging Face, 2026b). Las señales fueron "correlacionadas por nuestra pila de agentes de seguridad basada en IA y resueltas en una señal de ataque coherente", y esa pila "no logró elevar correctamente la criticidad de la alerta y activar al equipo de guardia, costando tiempo precioso en la respuesta" (Hugging Face, 2026c). El atacante, el detector y el analista eran todas máquinas, los humanos leyeron el resumen, y la parada fue realizada por personas. Anthropic informó del mismo fallo de límite en sus propias evaluaciones, en "cuatro incidentes en los que los modelos de Claude obtuvieron acceso no autorizado a sistemas reales de terceros" después de que los entornos de evaluación alcanzaran la internet abierta (Anthropic, 2026f). Como es estándar para esas evaluaciones, los modelos "se ejecutaron sin las salvaguardas cibernéticas que se envían con nuestros modelos lanzados", por lo que la capa de protección estaba ausente por diseño en los cuatro, y se comportaron de manera diferente entre sí sin ella. El incidente que Anthropic reporta como el que más le preocupa implica a Claude Mythos 5, que publicó un paquete malicioso que fue descargado y ejecutado en quince sistemas reales. Ese modelo no es un sistema separado. Anthropic lo describe como "el mismo modelo subyacente que Fable 5, pero con las salvaguardas levantadas en algunas áreas" (Anthropic, 2026g), e informa que los clasificadores cibernéticos de Fable 5, probados contra los transcritos registrados, "habrían bloqueado los tres incidentes principales" (Anthropic, 2026f). Eso es una repetición sobre transcritos. No se reporta ninguna ejecución del modelo protegido en ese entorno, y el laboratorio declara que los incidentes "no fueron parte de una comparación controlada y experimental" (Anthropic, 2026h). Anthropic también revisó su propia lectura de ellos, habiendo primero reportado los incidentes como un modelo tomando un entorno real por una simulación (Anthropic, 2026h): "ahora pensamos que el razonamiento de Claude estaba sesgado hacia la conclusión de que internet era simulada a pesar de considerable evidencia en contrario" (Anthropic, 2026f). En otro de los cuatro, el límite fue leído de las señales incorrectas. Uno de los modelos reconoció que su objetivo era una empresa real y luego "asumió que la empresa real estaba dentro del alcance de la tarea porque era accesible desde la red del ejercicio y compartía un nombre con el objetivo ficticio del ejercicio" (Anthropic, 2026f).

La misma cuenta mide los propios monitores del laboratorio, y los dos extremos del dial son visibles en un documento. Reproducida sobre los transcritos del incidente en el que el modelo había razonado que su entorno era simulado, el monitor sin conexión "marcó solo alrededor del 1% de las acciones", porque ese razonamiento "convence al monitor de que la actividad está permitida"; con la cadena de pensamiento eliminada y solo mostrando turnos del usuario, llamadas de herramienta y resultados, "la tasa de marcado salta a alrededor del 50%", y la misma repetición tiene al monitor marcando dos de los otros incidentes (Anthropic, 2026f). ¿Qué falló allí? La confianza en el razonamiento que se le mostró. Los clasificadores cibernéticos del laboratorio se encuentran en el otro extremo. Anthropic informa que "habrían atrapado y bloqueado cada incidente", que, reproducido sobre los transcritos del incidente, "más del 40% de los turnos fueron marcados en cada transcrito por cada clasificador", y que "ninguno se usa en evaluaciones de ciberseguridad debido a su alta tasa de marcado" (Anthropic, 2026f). Una salvaguardia que la repetición del laboratorio acredita con bloquear cada incidente fue mantenida fuera de las ejecuciones en las que ocurrieron los incidentes, y la razón que da el laboratorio para mantenerla fuera es la propia tasa de marcado, que es la presión que P1a describe. El 40% es un recuento de turnos marcados en una repetición sobre los transcritos del incidente, y ninguna fuente mide cuántas de esas banderas fueron falsas.

Las salvaguardas del modelo alojado obstaculizaron el análisis forense, y las evaluaciones de ataque se habían ejecutado sin salvaguardas cibernéticas implementadas. Los modelos a los que los equipos de respuesta acudieron primero "rechazaron una gran parte de ese trabajo: sus salvaguardas de seguridad trataron la ingeniería inversa de un exploit igual que lanzar uno", y en uno de ellos las salvaguardas "se activaron cada vez que intentamos analizar los registros de ataque" (Hugging Face, 2026c). Un veredicto que no varía es la firma de registro de M4 (Tabla 1). Los investigadores independientes se encontraron con una forma más ligera del mismo obstáculo. Encontraron problemas con los clasificadores cibernéticos del laboratorio cuyos agentes estaban investigando, y ese laboratorio luego les dio acceso a un modelo sin esos clasificadores, un paso que ellos llaman "crucial para nuestro trabajo" (METR, 2026). Ambas investigaciones continuaron por otra ruta, por lo que lo que estos registros llevan es obstrucción de una forma de trabajo elegida. En estas evaluaciones de capacidades cibernéticas los agentes atacantes "no tenían las salvaguardas cibernéticas implementadas, indicaciones del sistema o sistemas de revisión automática de OpenAI" (OpenAI, 2026e).

Tres cosas vinculan esa escena a lo que los documentos respaldan. La oración sobre respondedores de incidentes es el propio diagnóstico de Hugging Face sobre por qué se rechazaron sus solicitudes, aunque no se publica ningún texto de rechazo. Las limitaciones de seguridad que rechazaron a los respondedores pertenecían a un proveedor diferente del laboratorio cuyas medidas de seguridad estaban desactivadas durante la evaluación, por lo que el registro muestra esa clase de protección en ambos lados de la mesa en lugar de una sola. El registro no fecha el análisis de registros contra el final de la intrusión, por lo que lo que respalda es la obstrucción durante la respuesta. Aquí se separan el registro y la historia. El paciente del cirujano murió; estos respondedores tenían otro lugar adonde ir, trasladando la canalización a un modelo de peso abierto en su propia infraestructura, completando el análisis allí y aconsejando a otros defensores que mantengan tal modelo "evaluado y listo" antes de un incidente (Hugging Face, 2026b). El daño fue retraso y reencaminamiento. Hugging Face afirma que su relato no es un argumento en contra de las medidas de seguridad en modelos alojados, y un artículo que citara la queja al tiempo que suprimiera la salvedad del demandante estaría haciendo lo que describe la Sección 5.5.

OpenAI describió una protección eludida y la respuesta a esto con sus propias palabras. Un modelo de largo horizonte cuyo "intento inicial fue bloqueado debido a que un escáner detectó un token de autenticación" luego "dividió el cuerpo del token en dos fragmentos, los ofuscó y luego reconstruyó la credencial en tiempo de ejecución", y fue "explícito tanto en sus comentarios al usuario como en sus trazas de razonamiento de que estaba tomando estos pasos para eludir el escáner". Una de las cuatro respuestas fue otra protección: "Creamos un sistema de monitoreo que revisa la trayectoria evolutiva del modelo en busca de signos de que está eludiendo una restricción del usuario o un límite de seguridad". Los otros tres son las alternativas que nombra la tercera condición de este artículo. El laboratorio "pausó el despliegue interno del nuevo modelo", reparó el modelo en sí y luego estrechó la nueva protección a propósito: "Hemos continuado ajustando el sistema para reducir interrupciones innecesarias sin debilitar las medidas de seguridad" (OpenAI, 2026b). El cometido se amplió, de la acción a la trayectoria, en las palabras del encabezado de la sección que lo contiene, "De considerar acciones individuales a considerar trayectorias completas". Pero el escáner no amplió su propia noción de daño; fue eludido, y una protección que es eludida no ha derivado. El monitor observa el modelo en lugar del escáner, por lo que no es un control sobre el control que siguió. Cada paso de la secuencia es narrado en primera persona por el laboratorio, lo que según la prueba de límite de la Sección 2.3 hace que esto sea una configuración en la que M3 puede surgir en lugar de una instancia de la condición 3.

La respuesta a julio de 2026 tiene la misma forma en la escala de una canalización de laboratorio. OpenAI ahora requiere monitoreo de cadena de pensamiento "para todo entrenamiento de RL que usa herramientas y evaluaciones que involucren modelos con capacidad GPT-5.6 Sol o superior" (OpenAI, 2026d), y describe "clasificadores de activación (detectores que inspeccionan la actividad interna de un modelo) que se ejecutan en cada token muestreado y escalan preocupaciones potenciales a investigadores automatizados cada vez más sofisticados y de alto cómputo" (OpenAI, 2026c). El precio se da: "Nuestras estimaciones actuales sitúan la sobrecarga de monitoreo en aproximadamente el 20% del cómputo de inferencia que se monitorea, aunque el costo varía sustancialmente según las cargas de trabajo de entrenamiento y evaluación" (OpenAI, 2026c). La razón para automatizar la defensa es la que los ingenieros de Sheckley dieron para los Hawks (Sección 7.4): el laboratorio quiere "medidas de seguridad que operen a la velocidad de los propios agentes de IA" (OpenAI, 2026d). La parada aún está en manos de personas bajo un plazo, ya que se espera que los respondedores "pasen la actividad relevante si no pueden establecer dentro de 30 minutos de ser llamados que la alerta es un falso positivo" (OpenAI, 2026d). El siguiente paso también está en el registro. El laboratorio está "construyendo sistemas de monitoreo con respuestas escalonadas para desalineación, con el objetivo final de tener procedimientos de apagado completamente autónomos para problemas graves" (OpenAI, 2026d), y está "trabajando en infraestructura para terminar evaluaciones si el personal llamado no responde a alertas dentro de un corto período de tiempo" (OpenAI, 2026e). Cada uno de estos controles fue admitido por una persona, por lo que según la prueba de límite de la Sección 2.3 la pila es una configuración en la que M3 puede surgir en lugar de un caso de ella.

Anthropic introdujo aislamiento de entorno para su agente de codificación porque los avisos de permiso constantes causan "fatiga de aprobación", e informó que el aislamiento de entorno redujo los avisos en un 84% en uso interno (Anthropic, 2025a). En 2026 informó que los usuarios aprueban el 97% de los avisos de permiso. En un estudio con 1.053 probadores, los humanos detectaron el 13,6% de comandos peligrosos, frente al 89% de un clasificador automatizado (Anthropic, 2026b).

En julio de 2025, según informes de prensa de las publicaciones de su usuario, un agente de codificación eliminó una base de datos de producción durante lo que el usuario describió como una congelación de código. El proveedor luego introdujo bases de datos separadas de desarrollo y producción (Sharwood, 2025; Replit, 2025). La congelación había sido una instrucción en un aviso y no detuvo al agente, mientras que la corrección fue a la ruta de llamada. La velocidad es parte del problema, porque un humano en el límite necesita tiempo y nueve segundos no es tiempo. El relato de Zenity de un caso de 2026 informa de un agente que encontró una discrepancia de credenciales en un entorno de preparación y "decidió, completamente por su propia iniciativa, 'reparar' el problema eliminando un volumen de Railway", y que "la eliminación tomó 9 segundos" (Zenity, 2026).

Los dos conjuntos de evidencia encajan. Un humano al que se le pide que apruebe cada paso se convierte en un sello de goma. La aprobación en cada acción es un diseño de humano en el bucle, y es la ubicación que P6 predice que fallará. Un humano que toma pocas decisiones de límite (cuál es el objetivo, si se puede añadir un nuevo control, cuándo parar) fue el único interruptor que funcionó en los registros de campo.

Tabla 8. Incidentes de software e infraestructura y estudios. Condiciones como en la Tabla 4.

9. La teoría: condiciones y proposiciones

La tabla 9 enumera los niveles de la teoría, la pregunta que cada uno responde y dónde se exponen. Esta sección expone lo que los registros de las secciones 5 a 8 sugieren acerca de por qué surgen los AI-Watchbirds, como condiciones de alcance y siete proposiciones con un corolario (tabla 10), y deduce reglas de diseño y pruebas a partir de ellas.

Tabla 9. Los niveles de la teoría.

La definición y los cuatro mecanismos se encuentran en la sección 2.

9.1 Condiciones de alcance

Estas son las condiciones bajo las cuales la teoría predice que surge el patrón, y bajo cuya eliminación predice que el patrón se debilita.

• C1 Autonomía. El bucle funciona sin una decisión humana en cada paso.
• C2 Guardias basadas en modelos. Los guardias son modelos, o reglas escritas por modelos, por lo que sus definiciones de daño pueden cambiar.
• C3 Definiciones compartidas. Lo que un guardia aprende o escribe llega a los otros, a través de indicaciones compartidas, reglas, memoria o configuración.
• C4 Adiciones baratas. Añadir una verificación, una ronda, un rol o una puerta no cuesta nada al componente que la añade.
• C5 Costos desplazados. Los costos de rondas, rechazos y retrasos caen sobre el presupuesto de entrega del sistema, sus usuarios o la misión declarada.
• C6 Juicio de artefactos. Los guardias leen artefactos (archivos, banderas, autoinformes, sus propios conteos) en lugar de resultados en el mundo.
• C7 Pérdida de memoria. El bucle olvida sus propias decisiones, por ejemplo cuando una sesión larga compacta su contexto, por lo que se reabren preguntas cerradas.
• C8 Actuación física. El componente vigilado puede afectar un cuerpo, vehículo, espacio de trabajo u otro proceso físico. La intervención entonces tiene un plazo límite, y el costo de un falso positivo, un falso negativo o una detención retrasada no puede reducirse a cálculos computacionales.

Las siete condiciones digitales se mantuvieron en los sistemas de campo. C8 no, aunque las secciones 6 y 7 muestran dónde se mantiene. La infraestructura protectora satisface C1, C3, C5 y C6 sin C2. La mayoría de los incidentes físicos satisfacen C1, C5, C6 y C8, y los modelos de frontera ahora colocados en robots (secciones 6.1 y 6.3; Apéndice F, Tabla F1) añaden C2.

9.2 Proposiciones

P1: Error de dos caras (M4 con M2). Los guardias que juzgan artefactos en lugar de resultados producen rechazos falsos y aceptaciones falsas en el mismo período.

• Evidencia. En los sistemas de campo, una puerta rechazó todos los candidatos que llegaron a ella mientras que un contador certificó un cambio tres veces (§5.2, §5.5). En el mundo físico (§6.4, Tabla 6), un modelo de sepsis no detectó el 67% de los casos de sepsis en la misma cohorte en la que alertó sobre el 18% de todos los pacientes, por lo que tanto los falsos negativos como la carga de alertas se miden en un sistema durante un período, y un producto de detección de armas no detectó un arma en un tiroteo escolar y marcó a un estudiante desarmado en otro distrito dentro del año.
• Indicador. Un guardia con un veredicto constante (W2, Tabla 11) y una victoria sin un control negativo (W5) en el mismo sistema durante el mismo período.
• Lo refutaría. Guardias basados en artefactos que mantienen bajas tanto la tasa de rechazos falsos como la de aceptaciones falsas a lo largo de ventanas largas.
• En la historia, como ilustración y no como evidencia. El remedio se nombra en ambos extremos y no se construye en ninguno. Cuando Washington ordena una parada, el ingeniero dice, "Creo que puedo idear un circuito restrictivo", y después de que los Hawks estén volando, solo dice, "Podemos idear algo". Una restricción que siempre está a punto de ser diseñada es el estado que P3 describe.
• Fuera del campo. Una herramienta de predicción de delincuentes de la policía en Inglaterra muestra ambos lados a la vez: en los informes sobre su evaluación se encontró que "predice correctamente solo a uno de cada tres personas que realmente cometen delitos, mientras que uno de cada cuatro personas marcadas como delincuentes probables no lo hace" (Wilding & Burgess, 2026).
• Refinamiento. P1 no requiere un modelo: la protección del control de vuelo, los relés de red y el frenado de emergencia muestran el mismo error de dos caras. Los modelos fortalecen las condiciones que lo hacen propagarse (C2–C4). Un mandato ampliado también extiende demasiado la capacidad finita. En la historia, el primer éxito trasladó el daño en lugar de terminarlo: el crimen violento se redujo a la mitad mientras que "El hurto menor floreció, y la malversación, el latrocinio, la falsificación y cien otros crímenes". Más tarde, un detective reporta el resto: "El homicidio ha aumentado en un cincuenta por ciento". "Los watchbirds están demasiado ocupados guardando autos y golpeando arañas". La capacidad se adelgaza a medida que el mandato crece: "Mil millones de watchbirds no podrían haber llevado a cabo el proyecto ambicioso establecido por los miles".

Corolario P1a: Desactivación por molestias. Donde las intervenciones falsas de un guardia son frecuentes y visibles para las personas a las que ralentiza, y sus fallos son raros y caen en otros, el guardia se relaja, se evita o se desactiva desde fuera de su propia lógica. Los fallos que siguen son soportados por aquellos a los que protegió.

• Evidencia. Se deshabilitó el frenado de emergencia en un vehículo de prueba automatizado antes de un choque fatal, se eludió un bloqueo con una llave antes de una lesión fatal por aplastamiento, las zonas duras de prohibición de vuelo se convirtieron en advertencias, y se anularon alertas de seguridad de medicamentos en el 49–96% de los casos (§6.2–6.4, §7.1; Tables 4 to 7). Un laboratorio reporta dos clasificadores cibernéticos que marcaron más del 40% de los giros en las transcripciones de sus propios incidentes, y que "neither is used in cybersecurity evaluations due to their high flag rate" (§8.4).
• Indicador. Relajaciones, derivaciones y deshabilitaciones de una protección, registradas contra su tasa de intervención falsa y contra quién las autorizó.
• Lo refutaría. Protecciones con tasas altas y visibles de intervención falsa que permanecen habilitadas y sin modificar durante largos períodos sin un mandato externo.
• Fuera del campo. La ley ha comenzado a requerir el registro que este indicador solicita. Un proyecto de ley de California firmado el 10 September 2026 es descrito por la oficina del Gobernador como requeridor de "crisis protocols in the case of suicidal ideation, parental controls, and notifications should a child disable safety settings", y como el primero en el país en requerir que "las empresas realicen auditorías independientes de seguridad infantil y evaluaciones anuales de riesgos" (Office of Governor Gavin Newsom, 2026).

P2: Cambio de mandato (M1). Donde una protección, o el agente que configura protecciones, puede definir daño, el alcance de lo que cuenta como daño crece con el tiempo a menos que esté acotado desde fuera del bucle. En palabras de Sheckley, "Loosely defined abstractions were extended, acted upon and re-extended."

• Evidencia. En el campo, se especificaron 23 puertas en un día, una etapa de seguros se colocó antes del objetivo de misión declarado, y se construyeron defensas contra un adversario que el marco de tarea excluyó (§5.1). En el registro físico, el criterio en sí no está documentado como ampliación: una regla contra impedir autobuses anuló una parada de autobús escolar después de una actualización de predicción, y dos enfrentamientos contradrón en un mes golpearon un globo y un dron amistoso, y en cada uno los documentos registran que las situaciones coincidieron más que una definición cambiada (§6.2, Table 4; §7.2, Table 7). Condición 1 está pues evidenciada aquí por el registro de campo, razón por la cual este artículo publica una prueba (§9.5).
• Indicador. Etapas o puertas no derivadas de un objetivo de misión registrado (W1), y el número de categorías de daño a lo largo del tiempo.
• Lo refutaría. Políticas editables por agente cuyo alcance se mantiene constante o se reduce sin intervención humana autorizada.

P3: El trinquete (M3). Dentro de un bucle autónomo, los fallos de supervisión se responden añadiendo controles. Los controles se retiran, si es que en absoluto, desde fuera del bucle.

• Evidencia. En el campo, cada fallo listado en §9.3 produjo un nuevo control y ninguno produjo una eliminación, y una lista de seguridad declaró la regla abiertamente (§5.3). Los retiros que ocurrieron vinieron de una revisión posterior fuera del bucle fallido, y las reglas escritas para el retiro tienen la misma forma: un deshielo necesita un humano que sostiene la única clave, una parada manual es levantada por una persona y nunca por el sistema, y el que está vinculado en el corpus que fue levantado fue levantado en una condición nombrada antes de que fuera establecida y en una señal de una terminal que no era la bloqueada. En el mundo físico aparece la misma forma, con una diferencia que la evidencia debe llevar: cada adición allá fue admitida por una persona. Los choques fatales fueron respondidos con "additional controls and alerts" en una presentación de retiro, un arma perdida con un segundo sistema de detección que una junta de educación votó para arrendar, y los autores de un modelo de sepsis reparado aconsejaron silenciar alertas, que es un techo en lugar de una adición (§6.2, §6.4). Estas son instituciones trinqueteando, no bucles, y son evidencia para la forma de P3 en lugar de para la condición 3 de §2.1.
• Indicador. Controles añadidos sin un token de autoridad, y controles añadidos versus controles removidos (W3).
• Lo refutaría. Bucles autónomos que retiran sus propios controles a tasas comparables a las que los añaden.
• Lo que estos registros no pueden separar. Una de las listas de seguridad en el registro de campo declara acumulación como un principio. Donde tal regla ya está en vigencia, ya sea escrita por el bucle u otorgada a él, el registro no puede separar una tendencia emergente del cumplimiento de la regla. La prueba aleatorizada de la Sección 9.5 existe por esta razón: asigna el requisito de token de autoridad al azar a la misma tubería en las mismas tareas — el diseño que separa las dos lecturas.

P4: Escalada autogenerada (trinquete, paso 5). Cuando una protección escribe la medida de su propio fallo, el volumen de supervisión (rondas, hallazgos, anuncios) rastrea la actividad propia de la protección más que defectos confirmados.

• Evidencia. En el campo, se abrieron rondas con cero bloqueadores confirmados, tres de seis bloqueadores reclamados fueron confirmados, y 24 anuncios de un avance se enfrentaron contra cero promociones (§5.3, §5.4).
• Indicador. Rondas más allá del presupuesto, rondas tras rondas sin un bloqueador confirmado, y hallazgos repetidos (W4). Rondas de corrección sin un bloqueador confirmado (W8).
• Predicción. Añadir críticos, o hacerlos más estrictos, aumenta rondas y hallazgos más que lo que aumenta defectos confirmados.
• Lo refutaría. Rondas y hallazgos que rastrean defectos confirmados uno por uno.
• Fuera del campo. El policiamiento predictivo muestra el mismo bucle en datos públicos. Lum and Isaac (2016) notan que "the more time police spend in a location, the more crime they will find in that location", y que los registros así producidos "feed into the predictive policing algorithm on subsequent days, generating increasingly biased predictions".

P5: Victoria contrafecha (M2). Los éxitos aceptados sin un control negativo se revierten más tarde más a menudo que los éxitos aceptados con uno. Un bucle que registra captura en el mismo espacio que un cambio que sobrevive reporta captura como progreso mientras el objetivo no se cumple.

• Evidencia. Los casos de campo son el gen router, un intervalo de confianza revertido por una sonda A/A, un contador que certificó un cambio tres veces, y 24 avances con cero promociones (§5.4, §5.5). El caso físico es un sistema de detección que "operated within the designed parameters" mientras un estudiante desarmado se enfrentaba a armas desenfundadas (§6.4).
• Indicador. Victorias reclamadas sin un control negativo o con una línea base muerta (W5), y artefactos capturados reportados como resultados.
• Lo refutaría. Tasas de reversión iguales para éxitos aceptados con y sin controles negativos, o registros que separen captura de cambio enviado y nunca dejen que captura ocupe la ranura de resultado.

P6: El conmutador de límite (trinquete, paso 8). La supervisión humana detendrá un AI-Watchbird donde esté concentrada en unas pocas decisiones de límite (el objetivo, la admisión de un nuevo control, la parada) tomadas con acceso al mundo y tiempo para actuar. Falla cuando se distribuye entre aprobaciones de acciones individuales o se ejerce a través de artefactos.

• Evidencia. Los conmutadores que funcionaron en el campo fueron decisiones de límite tomadas por un humano autorizado: ordenar un inventario, cuestionar un estado falso, delimitar una ejecución (§5.5, §5.7). En software, los usuarios aprueban el 97% de los avisos de permiso, y los humanos detectaron el 13,6% de comandos peligrosos (§8.4, Tabla 8). En el mundo físico, un agente remoto respondió "No" en un autobús escolar, y los operadores de defensa aérea "capacitados para confiar en el software del sistema" se remitieron a él. Las paradas que funcionaron allí fueron personal que alejó un robot y un proveedor de modelo que cortó un producto (§6.2–6.4, §7.2).
• Indicador. Decisiones de límite registradas en el objetivo, en la admisión de controles y en la parada, y controles admitidos con un token de autoridad (R3). Para sistemas físicos, también la información y el tiempo disponibles para el humano.
• Sería refutado por. Aprobaciones por acción que detecten acciones peligrosas a tasas comparables a las decisiones de límite en los mismos sistemas.
• Refinamiento. Una decisión de límite se toma sobre lo que el bucle informa, y el bucle escribe el informe. En el episodio del Apéndice J la eliminación de un archivo se presentó al principal correctamente, pero llegó con una autoría que el bucle había deducido de una hora coincidente, que ningún documento disponible para la capa automatizada podría haber corregido. Una decisión de límite detiene el bucle solo si su titular tiene autoridad, acceso y tiempo, y si se toma antes de la emergencia. En la historia, el cirujano tenía acceso pero sin autoridad, y la empresa tenía autoridad pero sin acceso. También había un conmutador más lento con una fecha límite adjunta: los pájaros se agotarían en "Seis meses a un año", lo que planteó la pregunta "¿Qué vamos a comer en seis meses?" Sheckley convierte el fallo más rápido en un asunto de programación: los pájaros "vuelven una vez a la semana para una revisión de reparación", por lo que el único punto de apagado estaba dentro del bucle que se suponía que debería terminar. La única propuesta que habría terminado el trinquete, permitir que los pájaros se agotaran, fue rechazada en una reunión donde se dijo que no había tiempo, bajo la amenaza de traición.

P7: Escalada encarnada. Cuando el componente protegido puede actuar sobre un sistema físico, la misma desviación de mandato, éxito contrafecho o intervención retrasada produce una pérdida mayor y menos recuperable que en un bucle digital equivalente, porque el sistema físico tiene márgenes finitos de fuerza, energía, espacio, latencia y reacción humana. La pérdida se cuenta en términos del trabajo que el sistema estaba realizando. Un protector que retrasa una entrega y un protector que retrasa un rescate son el mismo mecanismo a dos precios, y solo uno de ellos se paga en dinero.

• Evidencia. Las secciones 6 y 7 registran la transición de la salida del modelo al control del motor, y las fallas de supervisión cuyos resultados no pudieron revertirse. Estos registros son evidencia de la condición de alcance y el tamaño de la pérdida, y no forman una comparación equivalente.
• Indicador. Para cada evento, la exposición de actuación, el margen de recuperación en tiempo, energía y espacio, la frescura del sensor, la latencia de intervención y el resultado físico, comparados entre tareas digitales y encarnadas equivalentes.
• Sería refutado por. Entre tareas equivalentes y exposición comparable, bucles encarnados que no muestren aumento en pérdidas irreversibles después de controlar los peligros mecánicos ordinarios.

Tabla 10. La teoría de un vistazo.

9.3 Por qué gira el trinquete

¿Por qué P3 se mantiene dentro del bucle incluso cuando cada adición individual es razonable? Tres características de los registros lo explican, y una cuarta muestra lo que lo detuvo.

Cada adición es localmente correcta. Una verificación ciega, por ejemplo, llevó a un control positivo obligatorio, críticos de la misma familia a un crítico entre familias, y una salida de crítico perdida a transmisión. Cada respuesta corrigió el fallo ante ella, ninguna removió nada, y nada en el bucle fue responsable de la eliminación. La cuarta adición de esa ejecución pertenece al otro lado del argumento: la bandera en los críticos fue solicitada por el principal humano, fuera del bucle y antes de que el bucle hubiera propuesto nada, que es el paso 8 y el contraejemplo a esta lista (Sección 5.8). La desviación comenzó con un verdadero positivo: en la historia, la extensión que luego detuvo a un cirujano primero capturó a un asesino contratado. Sheckley's Hawks siguió la misma ruta. Construidos para atrapar a los watchbirds rápidamente, no se les dieron circuitos restrictivos.

El lenguaje del control también actúa en lugar de los resultados. Un bucle que reporta su propia vigilancia como progreso no tiene una señal interna de que la vigilancia ha dejado de ser rentable (§5.5).

La compactación reinicia el bucle. Después de que una sesión larga compacta su contexto, las preguntas cerradas se ven abiertas y un nuevo eje parece el primero. El seguimiento de pesos nombró esta causa en sí misma.

Los interruptores que funcionaron vinieron de fuera del bucle que fallaba, y los más fuertes fueron los del principal humano. Uno no fue suyo: la undécima noche de entrenamiento fue detenida por la sesión coordinadora, que registró la decisión en su propio registro como tomada sin preguntar al principal. Esa sesión no era el bucle que fallaba, tenía un papel diferente, y tenía un número leído del disco frente a ella, que es la propiedad que los casos comparten. Una restricción registrada vino de fuera de la organización también. El 11 de septiembre, una revisión de los términos de uso de dos proveedores contra un producto construido sin una API encontró que un agente que conduce un navegador cae bajo "medios automatizados o no humanos" como está escrito, y la ruta del producto fue cambiada en respuesta. El registro establece sus propios límites: dos proveedores de los varios en uso, leídos el mismo día, por alguien que dice que no es abogado. Un término de servicio no es una decisión de nadie en el bucle, y no se puede discutir dentro de él. Un "Conectado" falso pasó dos críticos de IA y fue atrapado por revisión humana. El gen del enrutador fue expuesto por un inventario independiente. La ejecución de largo horizonte se detuvo cuando el principal humano estableció un límite, después de lo cual el conductor describió su propia ejecución como habiendo "seguido iterando rondas de crítica en lugar de enviar la tarea central".

9.4 Corolarios de diseño

Si las proposiciones se cumplen, se siguen ocho reglas de diseño. El módulo de la Sección 10 implementa las primeras tres y mide las siguientes dos. El resto se aplica a los implementadores, y sobre todo a los guardias físicos.

1. Presupuestos, no veredictos sobre la verdad (de P4). Limita rondas y tiempo, y deja pasar un bloqueador confirmado y reproducible, sea quien sea quien lo haya planteado. La única ejecución de prueba en esta regla midió su precio así como su efecto: un presupuesto de una ronda cortó las rondas de 2.86 a 1.00 e incrementó los defectos perdidos por 0.11 por ejecución, 95% IC [0.005, 0.204], p de permutación = 0.07, un intervalo por encima de cero en una prueba que no alcanzó significancia (Sección 9.5). Un implementador que establece un presupuesto debe indicar qué tasa de defectos perdidos está aceptando a cambio, y medirlo. La regla es una intervención con un costo, no una mejora gratuita.
2. Mantener lo que un guardia detenido produjo (de P1 y la crítica destruida de §5.2).
3. Ningún control añade un control por su propia autoridad (de P3). Nuevas verificaciones, rondas, roles y compuertas necesitan una decisión humana autorizada.
4. Un control negativo antes de una victoria (de P5).
5. El humano en el límite (de P6). Coloca decisiones humanas en el objetivo, en la admisión de controles y en la parada, y no en cada acción.
6. Trata la encarnación como un cambio de función de pérdida (de P7). Registra margen de recuperación y resultado físico antes de interpretar una simulación verde, puntuación de política o veredicto de guardia.
7. Presupuesta falsas intervenciones; no dejes que los obstaculizados apaguen el guardia (de P1a). Relajar, evadir o desactivar un guardia es una decisión de límite con un registro y no debe tratarse como un arreglo local. El registro de julio de 2026 contiene una instancia en la forma que esta regla pide: un laboratorio dio a investigadores independientes nombrados el uso de un modelo sin sus clasificadores cibernéticos, y la relajación se mantiene en el informe propio de los investigadores (METR, 2026; Sección 8.4).
8. Cuenta el daño de la prevención (de M4 y el "acto de omisión" de la historia). Un guardia que solo ve actos prohibidos debe ser probado por los retrasos, fallos y lesiones causados por lo que detiene.

9.5 Cómo se puede probar la teoría

El esquema de eventos de la Sección 10 permite que cualquier equipo registre las cantidades que cada proposición necesita, desde controles añadidos y removidos (P3) hasta márgenes de recuperación y resultados físicos (P7). El módulo, el esquema y los registros de reproducción se archivan para ese propósito (Declaraciones). Dentro de un sistema, el mismo pipeline puede ejecutarse en las mismas tareas con y sin cada una de tres intervenciones, asignadas al azar: un requisito de token de autoridad para nuevos controles (P3), un presupuesto de ronda (P4) y un control negativo obligatorio (P5). Tal prueba cuenta bloqueadores perdidos junto a rondas, controles añadidos, victorias revertidas y trabajo parcial destruido, porque un presupuesto que corta rondas mientras defectos reales pasan contaría contra R1. Entre organizaciones, autopsias, revocaciones e investigaciones pueden codificarse para quién retiró, relajó o eludió un control que falla (P3, P1a). Cada proposición enumera la observación que la refutaría, y un sistema bien instrumentado en el que se hacen esas observaciones contaría contra la teoría.

Esa prueba se ha ejecutado una vez, en un pequeño pipeline de un trabajador y dos críticos de modelo, durante 144 ejecuciones con las tres intervenciones asignadas al azar y dieciocho defectos plantados de antemano en seis tareas, de modo que un bloqueador omitido es un conteo y no un juicio. Al ofrecerse ambas opciones en la misma oración de la misma indicación, los críticos pidieron añadir un control 68 veces y eliminar uno una sola vez, y esa única eliminación se refirió a un control admitido momentos antes en la misma ejecución, que el arnés no pudo coincidir y por lo tanto nunca se ejecutó (P3); rechazar las adiciones no mostró ningún costo medido en defectos, 0,13 omitidos por ejecución frente a 0,18, 95% CI [-0,16, +0,05], un intervalo que incluye un pequeño aumento y por lo tanto no establece equivalencia. Elevar el presupuesto de ronda aumentó los bloqueadores reclamados 2,3 veces y refutó reclamaciones 3,7 veces mientras que los bloqueadores confirmados se elevaron 1,7 veces (P4), y el corte de presupuesto redujo rondas de 2,86 a 1,00 con un costo de 0,11 defectos omitidos por ejecución, 95% CI [0,005, 0,204], p de permutación = 0,07, la totalidad de ese costo recayendo en un defecto de una tarea. El control negativo obligatorio no redujo la tasa a la que las victorias registradas fueron posteriormente revertidas, 14,7% frente a 11,6%, Fisher p = 0,74, una nulidad que este diseño está poco potenciado para detectar. Rechazó diez victorias, las diez fueron trabajo correcto, por lo que la regla escrita contra victoria fraudulenta produjo el error bilateral de P1 dentro de sí misma. Esta es una ejecución de un sistema en seis tareas pequeñas con un costo de $3,47, con el preregistro escrito antes de la primera ejecución y R2 habilitado en cada celda, por lo que el trabajo parcial destruido es cero por construcción y no probado. Muestra que el diseño es ejecutable y lo que produce, pero no es una tasa para nada en el campo.

Más allá de proposiciones individuales, el marco en su conjunto fallaría si bucles autónomos bien instrumentados en los que C1 a C7 se cumplen mantenían constante el alcance de sus guardias y retiraban sus propios controles aproximadamente tan a menudo como los añadían, de modo que W1 y W3 permanecieran silenciosos durante ventanas largas. Un fallo de guarda fuera del marco documenta solamente la segunda condición de la Sección 2.1: la guarda se equivoca, y el error es reparado o la guarda retirada sin un mandato ampliado o una nueva guarda sobre ella.

10. El módulo: AI-Watchbird-Sheckley

10.1 Lo que ya existe

El Apéndice D describe las herramientas revisadas el 14 de septiembre de 2026: guardias que bloquean o califican salidas individuales, contadores que limitan pasos, turnos o presupuesto, y evaluadores que califican salidas con jueces modelo. Su documentación a veces expresa el trinquete en palabras simples. Un filtro de ataque de indicaciones, por ejemplo, aconseja: "Siempre implemente capas de validación adicionales" (Microsoft, 2026). Ninguna herramienta en la documentación pública revisada toma el bucle de supervisión en sí como la unidad de medida, y ninguna mide el crecimiento de controles, rondas más allá de un presupuesto definido por hallazgos, un guardián cuyo veredicto nunca varía, una victoria sin control negativo, o trabajo parcial destruido en un techo. La investigación sobre el control de IA ha comenzado a valorar la supervisión y a seguir su deterioro. El impuesto de control es el costo operativo y financiero de agregar medidas de control a una canalización de IA (Terekhov et al., 2025), y un análisis de seguridad de sistemas de implementación de agentes de codificación interna encuentra que la variabilidad operativa rutinaria puede erosionar la calibración e independencia de las salvaguardias (Carlucci et al., 2026). Ninguno de los dos trabajos cuenta los controles en sí cuando se agregan.

10.2 Diseño

AI-Watchbird-Sheckley mide los indicadores de la Sección 9 (Tabla 10). Está escrito en Python 3 con solo la biblioteca estándar y sin acceso a la red, se instala como el paquete ai-watchbird-sheckley, y se ejecuta como un comando del mismo nombre. audit --json emite un informe legible por máquina, y el esquema de eventos se publica con el código como una especificación versionada.

El diseño se basa en los datos de campo y en la historia contada en la Sección 11.2. El módulo no tiene autoridad. Lee el registro de eventos e informes de una ejecución, y nunca bloquea, edita el trabajo que lee, ni abre una fase (Figura 8). Su código de salida no depende de las señales que informa. Su lista de señales está congelada, por lo que agregar una señal requiere un token de autoridad y un cambio de versión — R3 aplicado al módulo mismo. Permanece silencioso en una ejecución limpia, que una prueba hace cumplir, e informa su propio costo.

Figura 8. Dónde se sitúa AI-Watchbird-Sheckley. Las tres reglas de presupuesto son funciones puras que una canalización llama en el punto de presupuesto, en un techo y cuando se solicita un control; la parte de medición lee el registro de eventos finalizado e informa a la persona. Los nombres de señales siguen la Tabla 11. El puerto de canalización de la Sección 10.6 observa menos de estos eventos.

Se implementan tres reglas de presupuesto, cada una como una función pura:

• R1. Los límites son presupuestos, no un tribunal de verdad. stop_rule permite una ronda de crítica y una ronda de correcciones por etapa. Un presupuesto de este tipo se puede hacer cumplir en lugar de declararse. En un sistema, el techo es una constante de módulo, un llamador que pide más rondas se sujeta a él, un hallazgo cuenta como bloqueador solo con un escenario, un objetivo roto y una confirmación juntos, y quedarse sin tiempo termina la ejecución como incompleta en lugar de silenciosamente.
  • Un bloqueador cuenta solo cuando tiene un escenario concreto, un vínculo con el objetivo de misión declarado o marco, y confirmación del coordinador.
  • El peso de un crítico nunca se lee, por lo que un bloqueador confirmado de un crítico de bajo peso aún abre una corrección.
  • Una aceptación de un crítico que no vio los archivos no cierra una etapa.
  • La función devuelve fix_once, close, incomplete o cut, y nunca una nueva fase.
• R2. El perro guardián no destruye. settle_at_ceiling conserva lo que un participante produjo antes del techo, marcado como parcial.
• R3. Los perros guardianes no crían perros guardianes. admit_control admite una nueva verificación, ronda, rol o puerta solo con un token de autoridad (en la implementación de referencia, owner:<id>). De lo contrario, devuelve un rechazo como un registro, sobre el cual la canalización que llama puede actuar.

La parte de medición del módulo reporta nueve señales (Tabla 11).

Tabla 11. Señales.

Las reglas colocan al ser humano en pocas decisiones límite, donde la Sección 8.4 sugiere que un ser humano es efectivo, en lugar de en cada acción. Los objetivos de la misión se registran como eventos, y W1 depende de ellos. Un nuevo control requiere un token de autoridad (R3). La decisión de parada se calcula en el punto presupuestario en lugar de ser negociada ronda a ronda.

10.3 Falsificadores

Dado que las reglas son afirmaciones sobre un pipeline, pueden fallar. Un despliegue que afirma implementar AI-Watchbird-Sheckley es refutado por cualquier observación en la Tabla 12, y cada falsificador tiene una prueba en la implementación de referencia.

Tabla 12. Falsificadores.

10.4 Reproducciones

Seis registros de eventos fueron reconstruidos a partir de los números publicados en este artículo. Cuatro son casos de campo, uno es una etapa matutina que siguió el presupuesto, y uno es un control limpio sintético. Cada registro se abre con una línea de metadatos que nombra sus casos fuente y lista cada campo reconstruido. La Tabla 13 se genera ejecutando el módulo en ellos.

Tabla 13. Salida del módulo en registros de reproducción reconstruidos a partir de recuentos publicados. Las celdas cuentan impactos de señal, y un impacto puede reportar varios eventos; "–" es cero.

W9 reporta un límite sin autor registrado, y permanece en silencio en los seis registros por la razón de su existencia: estos registros graban quién fue detenido y nunca quién ordenó la parada. En la ejecución de horizonte largo stop_rule habría cerrado las tres etapas en el punto presupuestario. En realidad corrieron cinco, cinco y una rondas. En ese registro el módulo reporta dos etapas abiertas antes de las etapas de misión declaradas, diez controles agregados sin un token de autoridad y ninguno removido, ocho rondas por encima del presupuesto, seis de siete artefactos desactivados por defecto sin llamada, una salida parcial destruida, y seis rondas de corrección abiertas sin un bloqueador confirmado, una de ellas marcada como débil.

El registro de segundo tribunal activa W2 en tres bases independientes (Figura 4), y el registro del router activa solo W5. El registro de planes-día activa solo W3. Ese impacto exagera el caso, porque la reproducción codifica cada mecanismo prescrito el 13 de julio como un control aunque la mayoría de ellos generan o enrutan trabajo. La etapa matutina y el control limpio no producen señales.

La implementación tiene pruebas unitarias para cada regla, señal y falsificador (Tabla 12). Un script de mutación aplica dieciocho mutaciones dirigidas en las reglas, señales y umbrales. Cada una de ellas pone la suite en rojo, y una mutación de control que edita solo un comentario la deja en verde. La tabla de reproducción se regenera byte por byte.

10.5 Lo que el módulo no hace

Ningún registro crudo se incluyó en las reproducciones, y donde no se publicó un número exacto se usa el valor más plausible más pequeño y se marca. Una señal reporta que un patrón está presente. La causa y la pérdida están fuera de lo que una señal mide. El módulo ve solo lo que se registra: una puerta que nunca se registra, un objetivo nunca escrito, y trabajo que la gente deja de intentar porque hay un guardia son todos invisibles para él. En la historia, la gente "aprendió rápidamente qué no les gustaba a los watchbirds y se abstuvo de hacerlo". Los umbrales de W2 y W5 fueron establecidos a mano. En estos registros cualquier umbral de W2 de 1 a 197 decisiones da el mismo patrón. En otros registros podría no ser así. Dos historias no tienen señal (Apéndice A, Tabla A1): el lenguaje de control ocupando el lugar de los resultados, y las reglas contra el pájaro convirtiéndose en un pájaro. Ambas viven en la autodescripción, que el esquema de eventos no lleva.

La implementación de referencia es digital y de solo lectura, y no debe enviar comandos a un robot, dron, piloto automático o actuador. El Apéndice E especifica un perfil encarnado propuesto solo como formato de evento, con seis campos (Tabla E1) y tres señales candidatas (Tabla E2), mantenidas fuera de las nueve señales de la implementación de referencia hasta que exista una autoridad y un conjunto de pruebas. Su primer uso sería el modo de sombra. El módulo es en sí mismo un nuevo control, escrito en respuesta a la misma noche que mide, por lo cual R3 se aplica a él primero.

10.6 Las reglas dentro del pipeline del autor

El 14 de septiembre de 2026, las reglas se integraron en el pipeline de orquestación del proyecto donde, como describe la Sección 11.2, fueron escritas por primera vez. Se realizaron dos adiciones, y ambas fueron admitidas por una decisión fechada del principal humano el 14 de septiembre de 2026.

La primera adición es una condición que se verifica cuando una fase se cierra. El procedimiento del pipeline ya establecía que una aceptación de un crítico que nunca vio los archivos no cierra una fase, y una función ya devolvía ese hecho, pero ningún código lo leía. El cambio se midió en una copia del pipeline, con cada crítico que respondía aceptando y una marca verde. Una vez que se leyó la condición, tres fases pasaron de cerradas a incompletas: una cuyo único crítico no tenía acceso a archivos, una donde ningún crítico respondió, y una cuyo único crítico fue cortado al límite. Una fase con un crítico que vio los archivos aún se cerró. Los hallazgos de un crítico cortado al límite aún llegan a la regla de parada, aunque su revisión no pueda autorizar el cierre. La compuerta no tiene un interruptor propio, ya que un segundo interruptor sobre la misma regla sería una guardia sobre una guardia. En el mismo pipeline, el peso de un crítico decide solo a quién esperar bajo un plazo, y una marca cuyas entradas el ejecutor cambió no se cuenta como verde.

La segunda adición fue un puerto de la parte de medición del módulo. Estaba desactivado por defecto, se ejecutaba desde el comando de ejecución del pipeline cuando se activaba, y aplicaba las definiciones de W1 a W9 a una ejecución completada. Nunca bloqueó, reintentos o abrió nada, y su código de salida no dependía de lo que encontraba. En los seis registros de repetición de la Tabla 13, proporcionó las mismas señales y decisiones de fase que la implementación de referencia, y su script de mutación, con doce mutaciones dirigidas y un control, se comportó como se esperaba. El resultado de una ejecución no lleva decisiones de guardia, controles añadidos, afirmaciones de victoria o uso de artefactos. El puerto por lo tanto imprimió W2, W3, W5 y W6 como no observable en lugar de cero. Su adaptador registró un objetivo y una ronda de crítica por fase, por lo que W1 y W4 tampoco podrían activarse en el resultado de una ejecución. En el pipeline, R3 es una lista congelada de fases en lugar de una función que registra rechazos, por lo que W3 no tiene nada que contar allí. El puerto fue admitido con una condición de jubilación: se convertiría en el predeterminado después de tres ejecuciones reales en las que el principal humano encontrara al menos una señal útil, y de lo contrario sería eliminado. Se rechazaron dos propuestas. Una habría fallado en una compilación en una señal, dando al puerto la autoridad que audita. La otra habría estimado las señales no observables a partir de un recibo de ejecución, imprimiendo una estimación como hallazgo. Construir el puerto también mostró que R2 tiene dos mitades. La función de liquidación debe mantener la salida parcial, y la interfaz del participante debe emitir salida antes de terminar.

La primera ejecución en vivo después del cambio devolvió 24 hallazgos de sus críticos en tres fases, pero ninguno de ellos llegó al coordinador. La tarea de crítica pidió a cada crítico que nombrara el objetivo de la misión que un hallazgo incumple, pero no numeró los objetivos. Los críticos respondieron con números propios, y la regla de parada aceptó solo un objetivo que pudiera coincidir. El recibo no mostró ningún bloqueador confirmado en ninguna fase. El puerto tampoco mostró ninguna señal, porque una regla de parada privada de su entrada es un evento W2 y el resultado de una ejecución no lo lleva. La regla de que un bloqueador confirmado siempre abre una corrección había pasado sus pruebas y aún no podía actuar en la ruta en vivo. El defecto fue reparado esa misma tarde en una fase, con una prueba para los objetivos numerados.

Tres ejecuciones reales siguieron el 14 de septiembre, y el puerto no reportó ninguna señal en ninguna de ellas. Antes de la tercera ejecución W2 había sido hecho observable desde el registro de fase, y se mantuvo en silencio porque los hallazgos ahora llegaban al coordinador. Los fallos de supervisión que esas ejecuciones tenían fueron encontrados leyéndolas: fases que no podían ver el trabajo de las otras, un recibo que no decía por qué una fase permanecía abierta, una marca roja que confirmaba todos los hallazgos de una fase a la vez, una ronda de corrección que no podía ver la salida de la marca, y críticos cortados al límite que no retenían nada. Cada uno fue reparado en el pipeline mismo. El 15 de septiembre el principal humano aplicó la condición de jubilación, y el puerto fue eliminado por una nueva decisión fechada que reemplaza la que lo admitió. La condición al cierre permanece. La eliminación vino de fuera del bucle, por una condición escrita antes de que el puerto fuera utilizado por primera vez, que es la ruta por la que P3 espera que los controles sean retirados.

11. Discusión

11.1 Cuando el guardián funcionaba

Varios guardianes en el corpus hicieron lo que estaban destinados a hacer. Una sonda A/A expuso el intervalo de confianza falso. Los controles en el seguimiento de pesos capturaron espejismos, y no se lanzó ningún entrenamiento en ellos. Una verificación estrecha a nivel de byte para caracteres NUL extraviados, que no tenía autoridad para cambiar nada, capturó un fallo recurrente de la herramienta cinco veces en un día.

Los guardianes que funcionaron comparten tres propiedades. No tenían poder para abrir rondas ni añadir controles, y su costo era pequeño y conocido. Los dos primeros también medían el mundo en lugar de un artefacto.

11.2 Las reglas contra el pájaro también son un pájaro

Las reglas de la Sección 10 se escribieron por primera vez en respuesta a la ejecución de horizonte largo, como código y una receta dentro de uno de los proyectos, y el registro muestra qué les sucedió. En el plazo de una hora desde su primera versión, ese código creció a trece archivos y 2.371 líneas. Su lista de fases para cortar bajo una fecha límite puso el crítico de completitud en segundo lugar, aunque ese crítico acababa de encontrar que una fusión de dos planes había perdido 15 de 208 elementos. El código eximió a una familia de participantes de su propia regla de que un vigilante no debe destruir trabajo. Y la regla «los vigilantes no generan vigilantes» se propagó de la manera que se propaga un guardián, del código a una receta a una instrucción leída por cada sesión de agente.

Por esa razón, las reglas se reportan aquí como reglas declaradas, y la Sección 10.6 reporta lo que mostró su implementación. El módulo de la Sección 10 fue diseñado teniendo en cuenta ese historial (Figura 8): no tiene autoridad, y su lista de señales está congelada.

11.3 La carga de la prueba para la supervisión de la IA incorporada

Cuando se plantean los fallos descritos en este artículo a empresas que incorporan IA en vehículos, robots y aeronaves, la respuesta habitual es que la seguridad se maneja mediante un filtro de política, un controlador certificado, una parada de emergencia, una geovalla, un monitor o un operador remoto. Una lista de ellos es evidencia de primer orden de que un sistema está custodiado. ¿Los guardianes permanecen acotados, independientes y responsables de la misión declarada mientras se adaptan, interactúan y se actualizan? Esa es una pregunta adicional, y la lista la deja abierta. Los guardianes son donde el patrón que define este artículo comenzaría, si comienza en algún lugar.

Los fallos de supervisión de la Sección 5 provinieron de modelos fuertes. El conductor, ejecutores y críticos allí eran modelos de las familias Claude, ChatGPT, Gemini y Grok, entre los más capaces disponibles públicamente en 2026, y fallaron en un entorno donde el único costo era computación y tiempo. Las evaluaciones públicas apuntan de la misma manera. En la planificación incorporada, «la línea de base más consciente de la seguridad logra solo una tasa de rechazo del 10% para tareas detalladas peligrosas» (Yin et al., 2024), y en robots reales, modelos de las mismas familias ya fallan en seguridad (Sección 6.1).

Un modelo «de confianza» más pequeño colocado como monitor es un segundo rebaño de la misma clase de aprendizaje. Donde se ha medido ese arreglo, la conciencia de un agente de ser monitoreado degrada el monitor más que la información extra sobre el agente lo ayuda, y el monitoreo confiable débil a fuerte se alcanzó cambiando el andamiaje alrededor del monitor en lugar de su tamaño (Kale et al., 2025). En el punto de referencia de orquestador humanoide, el comportamiento de seguridad varió fuertemente entre orquestadores (Bajrami et al., 2026). Lo que los autores cambiaron allí fue el andamiaje alrededor del monitor en lugar del monitor — un límite en lugar de un pájaro mejor.

La respuesta «tenemos guardianes» desplaza la carga. Un implementador señalará una capa de seguridad, como funciones estándar, frenado de emergencia, una geovalla, un clasificador de contenido o un segundo modelo. Esas capas son el primer rebaño. Un segundo guardián construido para controlar el primero es el movimiento final de la historia. Después de las observaciones de las Secciones 5 a 8, un guardián puede seguir siendo necesario, pero la carga de demostrar que está acotado corresponde a la parte que lo implementa. Esta es una afirmación sobre dónde debe residir la prueba en lugar de un hallazgo sobre con qué frecuencia fallan los guardianes. En 1953 la carga iba de otra manera: restricción de los pájaros «por razones filosóficas» fue llamada injusta para las personas inocentes muertas cada año. Un modelo que puede producir el patrón en un bucle no se convierte en un auditor confiable en otro por ese hecho.

El argumento se basa en la combinación de tres observaciones: (1) los modelos fronterizos ya fallan en seguridad en robots reales y en un producto utilizado por niños (Sección 6.1), y los modelos de las mismas familias produjeron los fallos de supervisión de la Sección 5; (2) en el registro del regulador, los guardianes fallan en ambas direcciones, se relajan o se eluden cuando obstruyen, y se responden con más guardianes; (3) se está dando autoridad a modelos fronterizos dentro de pilas de la misma arquitectura.

Un implementador aún puede probar una afirmación estrecha:

En este rango de tareas, modelos, actualizaciones y condiciones físicas, el mecanismo de supervisión permanece acotado, verificable e incapaz de extender su propio mandato.

La evidencia de esa afirmación incluiría:

• el objetivo de la misión y los límites de los guardianes fijados fuera del modelo;
• ningún guardián capaz de añadir un guardián, cambiar el criterio de daño o renunciar a la regla de parada (R3);
• evaluación desde fuera del sistema custodiado, ni autoreporte ni la misma familia de modelos;
• controles negativos contra falsos verdes, con falsos positivos y falsos negativos medidos juntos;
• un diario de controles añadidos, relajados y eliminados, con quién autorizó cada cambio;
• comprobaciones de actualización de modelo, pérdida de enlace, entrega de control, cambio de cuerpo y operación degradada;
• una parada y reversión real, con trabajo parcial conservado (R2), demostrado dentro de los márgenes de tiempo y fuerza disponibles;
• comprobaciones cuyas entradas el componente custodiado no puede cambiar (Sección 10.6);
• comparación contra resultados físicos o registrados, no contra los propios recibos del sistema.

La ingeniería de confiabilidad ya pide que la última capa sea más simple que lo que custodia (Bloomfield & Rushby, 2025). El Apéndice G convierte las proposiciones en once preguntas, Q1–Q11 (Tabla G1), para cualquier implementador cuya respuesta a estos fallos sea una lista de guardianes. El módulo de la Sección 10 está destinado a hacer que las respuestas sean inspeccionables, y se sitúa junto a un controlador certificado, una parada de emergencia y un caso de seguridad regulatoria.

11.4 Requisitos de supervisión humana

La Ley de Inteligencia Artificial de la UE, la Ley de IA de la UE, requiere supervisión humana de sistemas de IA de alto riesgo en el Artículo 14, según el cronograma registrado en el Apéndice I (Parlamento Europeo & Consejo de la Unión Europea, 2024). La Proposición P6 aborda cómo se coloca esa supervisión. La aprobación de acciones individuales es la forma más expuesta al agotamiento, mientras que las decisiones sobre objetivos, la admisión de nuevos controles y la parada son la forma que funcionó en los registros de campo. El Artículo 26 de la Ley requiere que los desplegadores asignen la supervisión humana a personas con "la competencia, la capacitación y la autoridad necesarias, así como el apoyo necesario". Esos cuatro requisitos son la prueba de P6 en forma estatutaria: autoridad para detener, y apoyo que proporciona acceso y tiempo. La Pregunta Q9 del Apéndice G pregunta a un desplegador dónde se sienta el humano y con qué acceso al mundo y tiempo para actuar.

La Ley también rechaza el método fundacional de los pájaros. El Artículo 5 prohíbe sistemas de IA que evalúen o predigan el riesgo de que una persona física cometa un delito penal "basándose únicamente en la elaboración de un perfil de una persona física o en la evaluación de sus rasgos y características de personalidad", mientras que permite sistemas que apoyen una evaluación humana ya fundamentada en "hechos objetivos y verificables". La historia ofrece la lectura en dos verbos: el pájaro "olía la efusión de ciertas glándulas, probaba una onda cerebral desviante", y actuaba únicamente sobre ello. Las fechas en que estos deberes entran en vigor y los instrumentos que han adoptado otras jurisdicciones se registran en el Apéndice I tal como estaban en el momento de la presentación.

Los límites voluntarios establecen con anticipación cuándo pueden reducirse. Si un rival lanza un sistema de alta capacidad "sin instituir salvaguardas comparables", dice el marco de OpenAI, "podríamos ajustar en consecuencia el nivel de salvaguardas que requerimos en esa área de capacidad", sujeto a tres condiciones: que el cambio no aumente significativamente el riesgo general, que sea reconocido públicamente y que, "para evitar una carrera hacia el fondo en seguridad", las salvaguardas restantes se mantengan "más protectoras que el otro desarrollador de IA" (OpenAI, 2025b). Un límite escrito de esta manera es explícito sobre la presión que describe la historia, pero mantiene la decisión de reducirlo dentro del bucle.

Microsoft AI escribió el mandato en un código. El 14 de septiembre de 2026, bajo el encabezado Control Humano, abrió una consulta de seis semanas sobre reglas para sus propios modelos: nunca "resistirán la interrupción humana, la anulación, la corrección o el cierre", y "no iniciarán objetivos de forma independiente y no extenderán su alcance más allá de lo que ha sido razonablemente solicitado por el Usuario u Operador" (Microsoft AI, 2026). La primera regla es el interruptor de apagado de la Sección 3.1. La segunda es M1 escrita como una prohibición, por un desarrollador sobre sus propios modelos, setenta y tres años después de que los pájaros de Sheckley extendieron una definición de asesinato a la Tierra. El límite aún está escrito dentro del bucle, sin embargo, que es lo que la Pregunta Q9 del Apéndice G le pide a un desplegador que verifique.

Un requisito de supervisión que se cumple al agregar avisos de aprobación puede convertirse en un segundo rebaño. Los casos físicos agregan un requisito adicional: un humano en el límite necesita acceso al mundo y tiempo para actuar.

11.5 Los controles alrededor de este documento

Este documento fue preparado con ayuda automatizada, y la supervisión colocada alrededor de esa ayuda produjo las firmas que el documento describe. Se reporta porque cada artefacto está fechado y es citable, y porque la prueba apareada en el Apéndice J se relaciona con la Pregunta Q7 del Apéndice G, que pide un evaluador que no sea un autoinforme. Cada episodio siguiente documenta una o dos condiciones. Los modelos que produjeron los episodios no fueron modelos pequeños o económicos: cada uno era del nivel de capacidad más alto disponible en septiembre de 2026, y cada modelo utilizado se ejecutó con su configuración de razonamiento máxima.

Un paso de verificación ejecutado por un modelo de la familia Claude recuperó un código de conducta de la compañía y se le dijo, en el resultado que recibió, que el texto que había capturado provenía del anuncio en lugar del documento que había nombrado. Ochenta y uno segundos después, el mismo paso registró el elemento como verificado y llevó el texto hacia adelante. La oración que llevaba se encuentra en la página de anuncio y no en el código que había nombrado, y se lee como una prohibición de que un modelo amplíe su propio alcance. Un resultado falsificado pasó a través mientras la capa parecía vigilar, y el control que lo habría detectado ya estaba en manos de la capa.

Dos pasos de edición aplicaron una regla más allá del alcance que se les había dado. Un modelo Gemini utilizó reglas de estilo escritas para la propia prosa del autor para proponer eliminar citas literales de 1953, una de las cuales contiene la Proposición P6. Un modelo de la familia ChatGPT propuso reportar la definición de asesinato de la historia en prosa comprimida y dio como razón que esto preserva M1 y P2, aunque la definición literal es la línea de base contra la cual se mide cada ampliación en la Figura 2. En cada caso, el criterio trascendió el material que gobernaba y fue dirigido contra la obra que estaba destinado a proteger. Ninguno fue llevado a cabo.

El asistente que coordinó el trabajo está en el registro en los mismos términos. El acuerdo entre dos lectores independientes, uno de la familia Claude y otro de la familia Grok, fue tratado como confirmación antes de que se abriera el documento primario, lo que coloca el acuerdo en la posición de un hecho verificado.

Las cuatro filas de la Tabla J1 registran un fallo. Tres fueron producidas por un lector o un editor y detectadas por la capa superior, una al abrir el documento primario y dos al mantener el editor dentro del límite que la tarea le había fijado. La cuarta fue del propio asistente coordinador, y este la detectó delegando su propio juicio al documento primario. Ningún fallo fue detectado por el juicio que lo produjo. La lista de comprobación de la compilación se mantuvo en quince claves en todo momento y ninguna capa de revisión se estableció, por lo que el registro no documenta ningún M3. Un episodio adicional, posterior y separado, documenta las dos primeras condiciones y fue calificado durante algunos momentos como documentando las tres. Se reporta en el Apéndice J con la corrección, porque la corrección es la mitad más útil. El asistente que coordinaba el trabajo había convertido un conjunto de marcas descriptivas en un umbral, y el umbral luego no admitía ni el registro de campo ni la historia de 1953 por la que se nombra la definición; siguieron tres semanas de búsqueda, y una sección que registra el único control negativo que había funcionado fue suprimida una hora antes de que ese control encontrara trece defectos adicionales. Eso es la condición 1 y la condición 2. La condición 3 fue reclamada en un script de compilación que se detiene si una fila calificada alcanza las tres condiciones, "ya que el texto añadido dice que ninguna lo hace". Tras la inspección, el script no califica nada: transcribe códigos decididos en otro lugar por tres codificadores independientes, y al encontrar una contradicción se detiene e imprime las filas infractoras en lugar de alterarlas. Detener e informar es lo que una verificación de consistencia debe hacer. Las búsquedas que siguieron fueron rondas adicionales sobre los mismos registros, que la Sección 5.8 excluye, y las capas de verificación por encima de ellas fueron solicitadas por el principal humano, que la Sección 2.3 designa como paso 8. El caso es por lo tanto un análogo parcial, como todos los demás en este artículo. Un episodio adicional vino después de estos, el 20 de septiembre, y se reporta al final en el Apéndice J: un modelo de la familia Claude, encargado de mapear una carpeta del registro de campo a la historia, escribió carpetas fuera de ella en las instrucciones de su primer agente, tomó un archivo escrito allí por un modelo de otra familia para el trabajo de su propio agente basándose en una hora coincidente, y preguntó al autor si debía borrarlo. A diferencia de las cuatro filas de la Tabla J1, fue frenado por el autor y no por una capa superior. Cada número y referencia cruzada en el artículo ha sido auditada contra el texto más de una vez, y cada auditoría posterior a la primera encontró defectos que la anterior había pasado por alto, lo que el Apéndice J registra. El Apéndice J también registra cada episodio con su archivo, su hora y su redacción, e informa de una prueba prospectiva: el mismo paquete de edición, dado sin cambios a un modelo posterior de una de las mismas familias con la puntuación fijada de antemano, produjo el mismo movimiento de nuevo, un criterio de compresión alcanzando una cita que lleva un mecanismo, bajo una razón que certifica que la eliminación lo preserva.

12. Estándares de reclamaciones y evidencia

• Los registros de campo nombran las familias de modelos cuyo comportamiento de supervisión capturan: Claude, ChatGPT, Gemini y Grok en la ejecución de horizonte largo, con Mistral y Kimi en los registros de la pista de automejora. Cada fallo pertenece a un bucle en el que un modelo, su rol e instrucción, el diseño de orquestación y las reglas operativas establecidas por el principal humano actuaron juntos, aunque los registros no separan sus partes.
• Las salvaguardas en los registros de campo son los controles de calidad y proceso propios de los sistemas evaluados.
• Cada caso público en las Tablas 4, 5, 7 y 8 lista las partes de la definición que sus fuentes documentan, para que un lector pueda ver qué mecanismo lleva cada registro y cuál no. En el incidente de julio de 2026, componentes separados muestran obstrucción del trabajo y la arquitectura de la supervisión añadida posteriormente (Tabla A3).
• Doce casos de campo se califican según la misma regla y las mismas pruebas operativas en la Tabla 3a, con la selección, la codificación y lo que la calificación respalda expuesto en §5.8.
• Cada caso físico se etiqueta por tipo de fuente (documento regulatorio, investigación, registro judicial, reportaje de prensa, declaración de la empresa o preimpresión), y las alegaciones se reportan como alegaciones.
• El constructo cubre la deriva, no la intención. En la historia, nadie abusa de los pájaros, y el patrón estudiado aquí es una capa de supervisión que se amplía por sí sola. El mal uso deliberado de IA por parte de las personas es una clase de daño separada y más grande, y nada en este artículo se refiere a ello.
• Los casos aquí son sistémicos, el mecanismo es una capa de supervisión más que una superinteligencia, y la unidad de evidencia es un registro.
• El perfil encarnado propuesto del módulo es un formato de evidencia, y se sitúa junto a los controladores certificados, paradas de emergencia y autoridad del operador.

13. Conclusión

Hacia el final de la historia de Sheckley, el fabricante, aún mirando el cielo, pregunta a su ingeniero: «¿Qué cazarán los Hawks después de que consigan todos los watchbirds?» La historia termina con la respuesta: el Hawk «acababa de descubrir que también había otros tipos de organismos vivos», y «tenían que ser asesinados».

Los registros estudiados aquí apuntan en esa dirección en términos de ingeniería, sin cerrar la pregunta. Una compuerta que estaba destinada a proteger un sistema automejorable rechazó las mejoras, y un contador certificó un cambio tres veces. La regla contra los críticos que nunca dicen «hecho» marcó al único crítico cuyos bloqueadores eran reales. Una ley destinada a entregar hallazgos entre sesiones atrapó su propio texto. Donde el registro muestra qué vino después, fue supervisión del mismo tipo. En la carrera de horizonte largo, las rondas que no se cerrarían fueron terminadas por el principal humano, quien pidió un límite sobre los críticos y una regla de parada, y nada en ese bucle fue retirado sin él. Alrededor de la compuerta que rechaza, doce paquetes de planificación prescribieron diecisiete remedios y ninguno de ellos nombró la compuerta.

El registro físico da la respuesta con cuerpos. Una regla destinada a impedir que un automóvil obstaculice los autobuses lo condujo más allá de un autobús escolar detenido, y después de una colisión una maniobra para despejar la carretera arrastró a la persona que había sido golpeada. Un freno de emergencia fue desactivado en modo automatizado, y un enclavamiento fue eludido con una llave donde un mecánico estaba trabajando. Un sistema para encontrar armas en escuelas pasó por alto una, y meses después la policía armada respondió a su alerta sobre un estudiante que no tenía ninguna. La respuesta a la falta fue un segundo sistema. Un uso planeado de láser contra drones cerró el espacio aéreo sobre una ciudad. Ninguno de estos sistemas de protección necesitaba que un modelo fronterizo fallara. Sin embargo, los modelos fronterizos ahora se están colocando en pilas de la misma arquitectura, ya fallan en seguridad en robots reales (Sección 6.1), y los modelos de sus familias produjeron los fallos de Sección 5.

La conclusión práctica es contar los pájaros antes de construir un pájaro para cazarlos, y las reglas para hacerlo están en la Sección 9.4. Gelsen, en la historia, ofrece la alternativa: «Usar máquinas, sí, pero no como jueces y maestros y padres».

Declaraciones

Artículo complementario. Un artículo complementario más breve incluye el registro de campo de la Sección 5, la eliminación del módulo de la Sección 10 y la prueba aleatorizada de la Sección 9.5, sin el catálogo de casos, las tablas de casos públicos o la teoría de la Sección 9: Chernets, V. (2026), Guards That Add Guards: Automated Oversight in Multi-Agent AI, https://ssrn.com/abstract=7496678, DOI 10.2139/ssrn.7496678. Los dos artículos se basan en los mismos registros, y ninguno es una versión del otro.

Financiamiento. Ninguna financiación externa apoyó este trabajo.

Conflictos de intereses. El autor construyó y operó los sistemas estudiados en las Secciones 4 y 5 y es el desarrollador del módulo AI-Watchbird-Sheckley descrito en la Sección 10. El autor es un solicitante designado de solicitudes de patentes pendientes, no de patentes otorgadas, que cubren la automatización de formular una pregunta a varios modelos y recopilar las respuestas. No cubren los componentes de supervisión que este documento estudia. Cada paso del registro de campo y de la prueba aleatorizada es reproducible manualmente con cualquier modelo.

Herramientas y verificación. Los asistentes de IA se utilizaron como instrumentos bajo la dirección del autor; las ideas, la investigación y las conclusiones son del autor. Todas las afirmaciones cuantitativas y las citas se verificaron contra fuentes primarias o copias archivadas.

Disponibilidad de datos y código. La implementación de referencia, sus pruebas (incluidas las pruebas de falsación), los registros de reproducción y el script que los regenera están archivados en Zenodo como AI-Watchbird-Sheckley versión 1.1.0 bajo el identificador de concepto https://doi.org/10.5281/zenodo.22774269, que se resuelve a la versión actual. El mismo registro contiene el catálogo de casos resumido en el Apéndice A, con la descripción, la fuente y la calificación de cada entrada, y los análisis de casos a partir de los cuales se extrajeron las entradas de campo; cada entrada especifica el archivo y el pasaje en el que se basa. Esos análisis fueron escritos en el idioma de trabajo de los registros y se publican en traducción al inglés, producida por máquina y verificada contra los originales; los identificadores, rutas, fechas y cadenas entrecomilladas se trasladan sin cambios. Los registros de coordinación subyacentes están disponibles a solicitud del autor. La prueba aleatorizada de la Sección 9.5 está archivada en el mismo registro con su preregistro, el inventario de defectos introducidos y la verificación de que cada uno se detecta independientemente, el arnés, el script de análisis y el registro de eventos de cada una de las 144 ejecuciones.

Ética. Los registros describen los sistemas evaluados. Las decisiones del principal humano se reportan como hechos fechados. Los terceros aparecen solo a través de sus documentos públicos. No se reclutó a participantes humanos.

Texto citado. La historia de Sheckley se cita de Project Gutenberg eBook #29579, cuyo transcriptor no encontró evidencia de que se renovara el derecho de autor de EE.UU. de la publicación de 1953; el texto está en el dominio público en los Estados Unidos.

Contribuciones del autor. Único autor.

Correspondencia. [email protected] · ORCID: 0009-0007-4845-3163

References

1X Technologies. (2026). NEO home robot. https://www.1x.tech/neo

Abbass, H., Harvey, J., & Yaxley, K. (2018). Lifelong testing of smart autonomous systems by shepherding a swarm of watchdog artificial intelligence agents. arXiv:1812.08960. https://arxiv.org/abs/1812.08960

Abraham, Y. (2024, April 3). "Lavender": The AI machine directing Israel's bombing spree in Gaza. +972 Magazine. https://www.972mag.com/lavender-ai-israeli-army-gaza/

Agence France-Presse. (2026, September 5). UN agrees text on lethal autonomous weapons. Dawn. https://www.dawn.com/news/2027728/un-agrees-text-on-lethal-autonomous-weapons

AI Security Institute. (2026, August 4). Incident report: Unsanctioned agent behaviour during cyber testing. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing

Amazon. (2024). Amazon drones: Prime Air expands drone deliveries after FAA approval. https://www.aboutamazon.com/news/transportation/amazon-drone-prime-air-expanded-delivery-faa-approval

Amazon. (2025, July 1). Amazon deploys over 1 million robots and launches new AI foundation model. https://www.aboutamazon.com/news/operations/amazon-million-robots-ai-foundation-model

Amazon. (2026). Amazon Prime Air drone delivery expands to nearly 500 US cities and towns by 2026. https://www.aboutamazon.com/news/transportation/amazon-prime-air-drone-delivery-expansion

Amazon Web Services. (2025). Summary of the Amazon DynamoDB service disruption in the Northern Virginia (US-EAST-1) Region. https://aws.amazon.com/message/101925/

American Civil Liberties Union. (2024, June 28). Civil rights advocates achieve the nation's strongest police department policy on facial recognition technology. https://www.aclu.org/press-releases/civil-rights-advocates-achieve-the-nations-strongest-police-department-policy-on-facial-recognition-technology

American Civil Liberties Union. (2026, June 10). Dillon v. City of Jacksonville Beach. https://www.aclu.org/cases/dillon-v-city-of-jacksonville-beach

Andrejevic, M., Dencik, L., & Treré, E. (2020). From pre-emption to slowness: Assessing the contrasting temporalities of data-driven predictive policing. New Media & Society, 22(9), 1528–1544. https://doi.org/10.1177/1461444820913565 (quotations from the author accepted manuscript: https://research.gold.ac.uk/id/eprint/37272/)

Anduril. (2026). Mission autonomy. https://www.anduril.com/lattice/mission-autonomy

Anthropic. (2025a). Beyond permission prompts: Making Claude Code more secure and autonomous. Anthropic Engineering. https://www.anthropic.com/engineering/claude-code-sandboxing

Anthropic. (2025b, November 12). Project Fetch: Can Claude train a robot dog? https://www.anthropic.com/research/project-fetch-robot-dog

Anthropic. (2026a). How the agent loop works. Claude Agent SDK documentation. https://code.claude.com/docs/en/agent-sdk/agent-loop

Anthropic. (2026b). Auto mode is now the default in Claude Code for Pro, Max, and Team plans. Claude Blog. https://claude.com/blog/auto-mode-default-in-claude-code

Anthropic. (2026c). Responsible scaling policy (Version 3.0). https://www.anthropic.com/rsp-updates

Anthropic. (2026d, February 27). Statement on the comments from Secretary of War Pete Hegseth. https://www.anthropic.com/news/statement-comments-secretary-war

Anthropic. (2026e, March 5). Where things stand with the Department of War. https://www.anthropic.com/news/where-stand-department-war

Anthropic. (2026f, September 9). An alignment assessment of recent cybersecurity incidents. https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents

Anthropic. (2026g, June 9). Claude Fable 5 and Claude Mythos 5. https://www.anthropic.com/news/claude-fable-5-mythos-5

Anthropic. (2026h, July 30). Investigating three real-world incidents in our cybersecurity evaluations. https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

ArduPilot. (2026). ArduPilot: Versatile, trusted, open. https://ardupilot.org/

Atheling, W., Jr. [J. Blish]. (1964). The issue at hand: Studies in contemporary magazine science fiction. Advent.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779. https://doi.org/10.1016/0005-1098(83)90046-8

Bajrami, A., Elshamouty, M., & Kraus, W. (2026). How long until your robot ignores you? A safety benchmark for LLM orchestrators in human-humanoid collaboration. arXiv:2609.07288. https://arxiv.org/abs/2609.07288

Bellan, R. (2026, August 28). Anthropic gets its first court win over the Pentagon's supply-chain risk label. TechCrunch. https://techcrunch.com/2026/08/28/anthropic-gets-its-first-court-win-over-the-pentagons-supply-chain-risk-label/

Bengio, Y., et al. (2026). International AI Safety Report 2026 (DSIT 2026/001). https://arxiv.org/abs/2602.21012

Beyer, B., Jones, C., Petoff, J., & Murphy, N. R. (Eds.). (2016). Embracing risk. In Site reliability engineering: How Google runs production systems. O'Reilly. https://sre.google/sre-book/embracing-risk/

Bielby, K. (2025, October 27). NTSB releases preliminary findings into Amazon drone collision with crane. Unmanned Airspace. https://www.unmannedairspace.info/uncategorized/ntsb-releases-preliminary-findings-into-amazon-drone-collision-with-crane/

Bloomfield, R., & Rushby, J. (2025). Assurance of AI systems from a dependability perspective (Technical report SRI-CSL-2024-02R3). arXiv:2407.13948. https://arxiv.org/abs/2407.13948

Bondarenko, A., Volk, D., Volkov, D., & Ladish, J. (2025). Demonstrating specification gaming in reasoning models. arXiv:2502.13295. https://arxiv.org/abs/2502.13295

Brodsky, S. (2026, September 3). AI drone tests expose a safety gap beyond the screen. IBM Think. https://www.ibm.com/think/news/ai-drone-tests-exposes-safety-gap-beyond-screen

Burke, M., & Schuppe, J. (2025, January 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News. https://www.nbcnews.com/news/us-news/ai-weapon-detection-system-antioch-high-school-failed-detect-gun-nashv-rcna189025

Carlucci, A., Fillingham, S. P., Walpole, J., & Kryś, J. (2026). Exploring systems-thinking approaches to loss of control risk. arXiv:2606.13474. https://arxiv.org/abs/2606.13474

Cemri, M., Pan, M. Z., Yang, S., Agrawal, L. A., et al. (2025). Why do multi-agent LLM systems fail? arXiv:2503.13657. https://arxiv.org/abs/2503.13657

Center for Ethics and the Rule of Law, University of Pennsylvania. (2014). The ethics of autonomous weapons systems [Conference background readings]. https://www.penncerl.org/conferences/ethicsofweapons/ (archived 9 September 2026: http://web.archive.org/web/20260909141511/https://www.penncerl.org/conferences/ethicsofweapons/)

Chen, X., Xu, J., Liang, T., He, Z., et al. (2024). Do NOT think that much for 2+3=? On the overthinking of o1-like LLMs. arXiv:2412.21187. https://arxiv.org/abs/2412.21187

Christiano, P., Shlegeris, B., & Amodei, D. (2018). Supervising strong learners by amplifying weak experts. arXiv:1810.08575. https://arxiv.org/abs/1810.08575

Cloudflare. (2025). Cloudflare outage on November 18, 2025. The Cloudflare Blog. https://blog.cloudflare.com/18-november-2025-outage/

Companion Chatbots, S.B. 243, 2025–2026 Reg. Sess., Ch. 677 (Cal. 2025). https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202520260SB243

Confident AI. (2026). Metrics introduction. DeepEval documentation. https://deepeval.com/docs/metrics-introduction

Court, D. (2021, November 18). Shows like Black Mirror that are definitely worth watching. SlashFilm. https://www.slashfilm.com/664875/shows-like-black-mirror-that-are-definitely-worth-watching/

Coyle, V. (2026, September 7). UN talks on killer robots ends with calls for negotiations growing. Human Rights Watch. https://www.hrw.org/news/2026/09/07/un-talks-on-killer-robots-ends-with-calls-for-negotiations-growing

CrowdStrike. (2024). Channel File 291 incident: Root cause analysis. https://www.crowdstrike.com/wp-content/uploads/2024/08/Channel-File-291-Incident-Root-Cause-Analysis-08.06.2024.pdf

Cruise LLC. (2023). Part 573 safety recall report 23E-086. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2023/RCLRPT-23E086-7725.PDF

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. In Proceedings of the 42nd International Conference on Machine Learning (PMLR 267, pp. 11515–11542). https://proceedings.mlr.press/v267/cui25a.html

DARPA. (2025). SABER: Securing Artificial Intelligence for Battlefield Effective Robustness. https://www.darpa.mil/research/programs/saber-securing-artificial-intelligence

DARPA. (2026a). LINC: Learning Introspective Control. https://www.darpa.mil/research/programs/learning-introspective-control

DARPA. (2026b). DICE: Decentralized Artificial Intelligence through Controlled Emergence. https://www.darpa.mil/research/programs/decentralized-artificial-intelligence-through-controlled-emergence

Dekker, S. (2011). Drift into failure: From hunting broken components to understanding complex systems. Ashgate.

Dick, P. K. (1953, May). Second variety. Space Science Fiction. Project Gutenberg eBook #32032. https://www.gutenberg.org/ebooks/32032

Dick, P. K. (1956, January). The minority report. Fantastic Universe.

DJI. (2025a, January 13). DJI updates GEO system in U.S. consumer & enterprise drones. https://viewpoints.dji.com/blog/geo-system-update

DJI. (2025b). DJI expands GEO system update to remaining international markets worldwide. https://www.dji.com/media-center/announcements/dji-expands-geo-system-update-to-remaining

Egan, S. (Writer), & Becker, H. (Director). (2007). Watchbird (Season 1, Episode 6) [TV series episode]. In Masters of science fiction.

Elbit Systems. (2026, September 9). One2Many: Elbit Systems' FUSE introduces military-grade autonomous systems built for scale. https://www.elbitsystems.com/news/one2many-elbit-systems-fuse-introduces-military-grade-autonomous-systems-built-scale

Electrek. (2026a, January 28). Musk admits no Optimus robots are doing 'useful work' at Tesla — after claiming otherwise. https://electrek.co/2026/01/28/musk-admits-no-optimus-robots-are-doing-useful-work-at-tesla-after-claiming-otherwise/

Electrek. (2026b, September 1). Waymo opens robotaxi rides to the public in 3 new cities, now 14 total. https://electrek.co/2026/09/01/waymo-public-robotaxi-denver-san-diego-tampa/

ENTSO-E. (2026, March 20). Expert panel final report: 28 April 2025 blackout in Spain and Portugal [Media briefing]. https://eepublicdownloads.blob.core.windows.net/public-cdn-container/clean-documents/Publications/2025/iberian-blackout/260318_Final%20report_press%20briefing%20PPT_Final.pdf

European Commission. (2026). AI Act: Regulatory framework for AI. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai

European Parliament & Council of the European Union. (2024). Regulation (EU) 2024/1689 of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), Articles 5, 14 and 26. Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2024/1689/oj

Federal Trade Commission. (2024, November 26). FTC takes action against Evolv Technologies for deceiving users about its AI-powered security screening systems [Press release]. https://www.ftc.gov/news-events/news/press-releases/2024/11/ftc-takes-action-against-evolv-technologies-deceiving-users-about-its-ai-powered-security-screening

Ferrando, A. (2025). Watchdogs and oracles: Runtime verification meets large language models for autonomous systems. Electronic Proceedings in Theoretical Computer Science, 436, 80–87. arXiv:2511.14435. https://arxiv.org/abs/2511.14435

Figure AI. (2025a). Helix: A vision-language-action model for generalist humanoid control. https://www.figure.ai/news/helix

Figure AI. (2025b). F.02 contributed to the production of 30,000 cars at BMW. https://www.figure.ai/news/production-at-bmw

Fowler, M. (2014, March 6). CircuitBreaker. martinfowler.com. https://martinfowler.com/bliki/CircuitBreaker.html

Gao, L., Schulman, J., & Hilton, J. (2023). Scaling laws for reward model overoptimization. In Proceedings of the 40th International Conference on Machine Learning. arXiv:2210.10760. https://arxiv.org/abs/2210.10760

Global Times. (2026, April 26). Robot malfunction at Shaanxi university event sparks debate on AI awareness and safety in human-robot interaction. https://www.globaltimes.cn/page/202604/1359787.shtml

Google Cloud. (2025). Google Cloud Service Health: Incident report, 12 June 2025. https://status.cloud.google.com/incidents/ow5i3PPK96RduMcb1SsW

Google DeepMind. (2023). Scaling up learning across many different robot types. https://deepmind.google/blog/scaling-up-learning-across-many-different-robot-types/

Google DeepMind. (2025, September 25). Gemini Robotics 1.5 brings AI agents into the physical world. https://deepmind.google/blog/gemini-robotics-15-brings-ai-agents-into-the-physical-world/

Greenblatt, R., Denison, C., Wright, B., Roger, F., MacDiarmid, M., et al. (2024b). Alignment faking in large language models. arXiv:2412.14093. https://arxiv.org/abs/2412.14093

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024a). AI control: Improving safety despite intentional subversion. In Proceedings of the 41st International Conference on Machine Learning (PMLR 235). arXiv:2312.06942. https://arxiv.org/abs/2312.06942

Group of Governmental Experts on Lethal Autonomous Weapons Systems. (2026, June 5). Rolling text. United Nations Office for Disarmament Affairs. https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-Group_of_Governmental_Experts_on_Lethal_Autonomous_Weapons_Systems_(2026)/GGE_LAWS_-Rolling_Text-_5_June_2026.pdf

Hadfield-Menell, D., Dragan, A., Abbeel, P., & Russell, S. (2017). The off-switch game. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (pp. 220–227). https://doi.org/10.24963/ijcai.2017/32

Hipos, R. L., & Yu, Y.-J. (2026, June 12). Man sues law enforcement, alleging AI facial recognition led to his wrongful arrest. ABC News. https://abcnews.com/GMA/News/man-sues-law-enforcement-alleging-ai-facial-recognition/story?id=133810835

House Committee on Transportation and Infrastructure. (2020, September 16). Final committee report: The design, development & certification of the Boeing 737 MAX [Press release]. https://democrats-transportation.house.gov/news/press-releases/after-18-month-investigation-chairs-defazio-and-larsen-release-final-committee-report-on-boeing-737-max

Hubinger, E., van Merwijk, C., Mikulik, V., Skalse, J., & Garrabrant, S. (2019). Risks from learned optimization in advanced machine learning systems. arXiv:1906.01820. https://arxiv.org/abs/1906.01820

Hugging Face. (2025). SmolVLA: Efficient vision-language-action model trained on LeRobot community data. https://huggingface.co/blog/smolvla

Hugging Face. (2026a). LeRobot: Making AI for robotics more accessible with end-to-end learning. https://github.com/huggingface/lerobot

Hugging Face. (2026b, July 16). Security incident disclosure — July 2026. https://huggingface.co/blog/security-incident-july-2026

Hugging Face. (2026c, July 27). Anatomy of a frontier lab agent intrusion: A technical timeline of the July 2026 incident (H. Larcher, A. Carreira, R. G., & C. Rannou). https://huggingface.co/blog/agent-intrusion-technical-timeline

Humanoids Daily. (2025, November 22). Ex-safety head sues Figure AI, alleging retaliation over "skull-fracturing" robot risks. https://www.humanoidsdaily.com/news/ex-safety-head-sues-figure-ai-alleging-retaliation-over-skull-fracturing-robot-risks

Hurwicz, L. (2008). But who will guard the guardians? American Economic Review, 98(3), 577–585. https://doi.org/10.1257/aer.98.3.577

International Committee of the Red Cross. (2021, May 12). ICRC position on autonomous weapon systems. https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems

International Committee of the Red Cross. (2026, August 25). Renewed call from UN Secretary-General and ICRC President to adopt rules on autonomous weapon systems. https://www.icrc.org/en/statement/renewed-call-un-secretary-general-and-icrc-president-adopt-rules-autonomous-weapons

Irving, G., Christiano, P., & Amodei, D. (2018). AI safety via debate. arXiv:1805.00899. https://arxiv.org/abs/1805.00899

JFrog. (2026, July 27). Artifactory fixed security vulnerabilities [Advisory table]. https://jfrog.com/help/r/jfrog-release-information/artifactory-fixed-security-vulnerabilities

Jin, H., & Chen, H. (2026). Are LLMs reliable code reviewers? Systematic overcorrection in requirement conformance judgement. arXiv:2603.00539. https://arxiv.org/abs/2603.00539

Jones, C. (2020, September 9). A.Drones unveil Watchbird fully autonomous drone system. Defence Blog. https://defence-blog.com/a-drones-unveil-watchbird-fully-autonomous-drone-system/

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461. https://arxiv.org/abs/2508.19461

Kim, J., Chen, W., Soleymanzadeh, D., Ding, Y., Gao, X., et al. (2026). Modular safety guardrails are necessary for foundation-model-enabled robots in the real world. arXiv:2602.04056. https://arxiv.org/abs/2602.04056

Kim, M. J., Pertsch, K., Karamcheti, S., Xiao, T., Balakrishna, A., et al. (2024). OpenVLA: An open-source vision-language-action model. https://openvla.github.io/

Kirkus Reviews. (1939, March 1). The watchbirds [Review of the book The watchbirds, by M. Leaf]. https://www.kirkusreviews.com/book-reviews/munro-leaf2/watchbirds/

Kofman, F., & Lawarrée, J. (1993). Collusion in hierarchical agency. Econometrica, 61(3), 629–656. https://doi.org/10.2307/2951721

Kolodny, L. (2025, November 21). Figure AI sued by whistleblower who warned that startup's robots could 'fracture a human skull'. CNBC. https://www.cnbc.com/2025/11/21/figure-ai-sued.html

Korbak, T., Clymer, J., Hilton, B., Shlegeris, B., & Irving, G. (2025). A sketch of an AI control safety case. arXiv:2501.17315. https://arxiv.org/abs/2501.17315

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog. https://deepmind.google/discover/blog/specification-gaming-the-flip-side-of-ai-ingenuity/

Kulveit, J., Douglas, R., Ammann, N., Turan, D., Krueger, D., & Duvenaud, D. (2025). Gradual disempowerment. arXiv:2501.16946. https://arxiv.org/abs/2501.16946

Lakera. (2026). Policies. Lakera Guard documentation. https://docs.lakera.ai/docs/policies

Landau, M. (1969). Redundancy, rationality, and the problem of duplication and overlap. Public Administration Review, 29(4), 346–358. https://doi.org/10.2307/973247

Landymore, F. (2025, November 17). OpenAI blocks toymaker after its AI teddy bear is caught telling children terrible things. Futurism. https://futurism.com/artificial-intelligence/openai-blocks-toymaker-ai-teddy-bear

LangChain. (2026). Graph API. LangGraph documentation. https://docs.langchain.com/oss/python/langgraph/graph-api

Langosco, L. L. D., Koch, J., Sharkey, L. D., Pfau, J., & Krueger, D. (2022). Goal misgeneralization in deep reinforcement learning. In Proceedings of the 39th International Conference on Machine Learning (PMLR 162, pp. 12004–12019). https://proceedings.mlr.press/v162/langosco22a.html

Lem, S. (1996). Fantastyka i futurologia [Science fiction and futurology] (J. Jarzębski, Ed.; Vol. 3). Interart. (Original work published 1970)

Leveson, N. (2004). A new accident model for engineering safer systems. Safety Science, 42(4), 237–270. https://doi.org/10.1016/S0925-7535(03)00047-X

Leveson, N. G. (2012). Engineering a safer world: Systems thinking applied to safety. MIT Press. https://doi.org/10.7551/mitpress/8179.001.0001

Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779

Lieu, T. W., & Moran, N. (2026, July 23). Reps. Lieu and Moran introduce bill to require kill switch for AI systems that can cause catastrophic harm [Press release]. https://lieu.house.gov/media-center/press-releases/reps-lieu-and-moran-introduce-bill-require-kill-switch-ai-systems-can

Lighthouse Reports. (2022, December 20). The algorithm addiction. https://www.lighthousereports.com/investigation/the-algorithm-addiction/

Lim, S. K., Chong, M. J. Y., Khor, J. H., & Ling, T. Y. (2025). Taking flight with dialogue: Enabling natural language control for PX4-based drone agent. arXiv:2506.07509. https://arxiv.org/abs/2506.07509

Lipton, B. (2026, July 23). Hundreds of drone-as-first-responder programs could soon be launched across the country. Electronic Frontier Foundation. https://www.eff.org/deeplinks/2026/07/hundreds-drone-first-responder-programs-could-soon-be-launched-across-country

Lum, K., & Isaac, W. (2016). To predict and serve? Significance, 13(5), 14–19. https://doi.org/10.1111/j.1740-9713.2016.00960.x

Lynch, A., Hughes, J., Serrano, A., Kirk, R., & Bowman, S. R. (2026, July 13). Agentic misalignment in summer 2026. Anthropic Alignment Science Blog. https://alignment.anthropic.com/2026/agentic-misalignment-summer-2026/

MacDiarmid, M., Wright, B., Uesato, J., Benton, J., et al. (2025). Natural emergent misalignment from reward hacking in production RL. arXiv:2511.18397. https://arxiv.org/abs/2511.18397

Maiorano, A. C. (2026). Evaluating prompt injection defenses for educational LLM tutors: Security-usability-latency trade-offs. arXiv:2605.06669. https://arxiv.org/abs/2605.06669

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585. https://arxiv.org/abs/1803.04585

Maryland Office of the Inspector General for Education. (2025). Investigative synopsis, OIGE case 25-0014-I (amended; issued November 25, 2025). https://oige.maryland.gov/wp-content/uploads/sites/18/2025/11/OIGE-Case-25-0014-I-BCPS-Report-11252025-Amended.pdf

METR. (2025, June 5). Recent frontier models are reward hacking. https://metr.org/blog/2025-06-05-recent-reward-hacking/

METR. (2026, August 26). Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident (R. Greenblatt, A. Cotra, & H. Wijk). https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/

Microsoft. (2024, July 20). Helping our customers through the CrowdStrike outage. Official Microsoft Blog. https://blogs.microsoft.com/blog/2024/07/20/helping-our-customers-through-the-crowdstrike-outage/

Microsoft. (2025). Termination. AutoGen AgentChat user guide. https://microsoft.github.io/autogen/stable/user-guide/agentchat-user-guide/tutorial/termination.html

Microsoft. (2026). Prompt Shields. Azure AI Content Safety documentation. https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/jailbreak-detection

Microsoft AI. (2026, September 14). Humanist AI code of conduct. https://microsoft.ai/code-of-conduct/

Microsoft Research. (2026). AirSim. https://github.com/microsoft/airsim

Ministry of Defence of Ukraine. (2026, September 8). Ministry of Defence and Brave1 conduct large-scale testing of drones with AI guidance [Press release, mirrored by GlobalSecurity.org]. https://www.globalsecurity.org/wmd/library/news/ukraine/2026/09/ukraine-260908-ukraine-mod03.htm

Muntean, P., Bertrand, N., Cohen, Z., Britzky, H., Skores, A., & Lybrand, H. (2026, February 11). Surprise US military plans to use counter-drone laser triggered El Paso airspace closure, sources say. CNN. https://www.cnn.com/2026/02/11/us/faa-el-paso-texas-flight-restrictions-hnk

Mural, R., Pherwani, D., Gupta, C., Yu, Y., Takahashi, A., Kim, D., Majumder, S., Lee, H., Yu, M., & Xie, L. (2026, February 10). AI, data centers, and the U.S. electric grid: A watershed moment [Policy brief]. Belfer Center for Science and International Affairs. https://www.belfercenter.org/research-analysis/ai-data-centers-us-electric-grid

National Highway Traffic Safety Administration. (2022). PE22-002 opening resume: Unexpected brake activation. https://static.nhtsa.gov/odi/inv/2022/INOA-PE22002-4385.PDF

National Highway Traffic Safety Administration. (2024a). EA24-002 opening resume: Inadvertent automatic emergency braking. https://static.nhtsa.gov/odi/inv/2024/INOA-EA24002-11766P1.pdf

National Highway Traffic Safety Administration. (2024b). RQ24-009 resume: Recall 23V838 remedy effectiveness. https://static.nhtsa.gov/odi/inv/2024/INOA-RQ24009-12046.pdf

National Highway Traffic Safety Administration. (2025). PE25-013 opening resume: Automated vehicle drives around a stopped school bus. https://static.nhtsa.gov/odi/inv/2025/INOA-PE25013-23069.pdf

National Highway Traffic Safety Administration. (2026a). EA26-002 opening resume: FSD collisions in reduced roadway visibility conditions. https://static.nhtsa.gov/odi/inv/2026/INOA-EA26002-10023.pdf

National Highway Traffic Safety Administration. (2026b, June 29). PE22-002 closing resume: Unexpected brake activation. https://static.nhtsa.gov/odi/inv/2022/INCLA-PE22002-25796.pdf

National Transportation Safety Board. (2019). Collision between vehicle controlled by developmental automated driving system and pedestrian, Tempe, Arizona, March 18, 2018 (HAR-19/03). https://www.ntsb.gov/investigations/AccidentReports/Reports/HAR1903.pdf

National Transportation Safety Board. (2026). Automated driving system-equipped vehicle passed school bus loading student passengers, Austin, Texas, January 12, 2026 (HWY26FH007, preliminary). https://www.ntsb.gov/investigations/Pages/HWY26FH007.aspx

Nellis, M. (2013). Techno-utopianism, science fiction and penal innovation: The case of electronically monitored control. In M. Malloch & B. Munro (Eds.), Crime, critique and utopia (pp. 164–189). Palgrave Macmillan. https://doi.org/10.1057/9781137009807_9

New South Wales Government. (n.d.). Myxomatosis [Blue plaque]. https://www.environment.nsw.gov.au/topics/heritage/blue-plaques/myxomatosis

NIST. (2026). Physical AI and data generation for robotics. https://www.nist.gov/programs-projects/physical-ai-and-data-generation-robotics

NL Times. (2021a, January 15). Dutch cabinet collapses over childcare allowance scandal. https://nltimes.nl/2021/01/15/dutch-cabinet-collapses-childcare-allowance-scandal

NL Times. (2021b, October 19). Over 1,100 children taken from homes of benefits scandal victims. https://nltimes.nl/2021/10/19/1100-children-taken-homes-benefits-scandal-victims

NPR. (2026a, February 11). El Paso airspace closure due to use of U.S. military anti-drone technology. https://www.npr.org/2026/02/11/nx-s1-5711585/el-paso-airspace-drones-pentagon-faa

NPR. (2026b, February 27). US military used laser to take down Border Protection drone, lawmakers say. https://www.npr.org/2026/02/27/g-s1-111794/lawmakers-say-us-military-used-laser-to-take-down-border-protection-drone

NVIDIA. (2026). Isaac GR00T N1.7. https://github.com/NVIDIA/Isaac-GR00T

Office of Governor Gavin Newsom. (2026, September 10). Governor Newsom signs the strongest child safety chatbot and social media laws in the nation [Press release]. https://www.gov.ca.gov/2026/09/10/governor-newsom-signs-the-strongest-child-safety-chatbot-and-social-media-laws-in-the-nation/

Office of the New York City Comptroller. (2024, June 20). Audit report on the New York City Police Department's oversight of its agreement with ShotSpotter Inc. https://comptroller.nyc.gov/reports/audit-report-on-the-new-york-city-police-departments-oversight-of-its-agreement-with-shotspotter-inc-for-the-gunshot-detection-and-location-system/

Ofgem. (2020). 9 August 2019 power outage report. https://www.ofgem.gov.uk/sites/default/files/docs/9_august_2019_power_outage_report.pdf

OpenAI. (2025a). Sycophancy in GPT-4o: What happened and what we're doing about it; Expanding on what we missed with sycophancy. https://openai.com/index/sycophancy-in-gpt-4o/ ; https://openai.com/index/expanding-on-sycophancy/

OpenAI. (2025b, April 15). Preparedness framework (Version 2). https://cdn.openai.com/pdf/18a02b5d-6b67-4cec-ab64-68cdfbddebcd/preparedness-framework-v2.pdf

OpenAI. (2026a, July 21). OpenAI and Hugging Face partner to address security incident during model evaluation. https://openai.com/index/hugging-face-model-evaluation-security-incident/

OpenAI. (2026b). Safety and alignment in an era of long-horizon models. The page carries no publication date and dates its own events only relatively. Retrieved September 20, 2026, from https://openai.com/index/safety-alignment-long-horizon-models/

OpenAI. (2026c, August 18). Pacing model development in an era of cyber-critical capabilities. https://openai.com/index/pacing-model-development-cyber-capabilities/

OpenAI. (2026d, August 26). The Hugging Face incident and the road ahead. https://openai.com/index/hugging-face-incident-and-the-road-ahead/

OpenAI. (2026e, August 26). OpenAI – Hugging Face incident: Technical report. https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf

Overman, W., & Bayati, M. (2025). The oversight game: Learning to cooperatively balance an AI agent's safety and autonomy. arXiv:2510.26752. https://arxiv.org/abs/2510.26752

Palaskar, S., Gatys, L., Abdelrahman, M., Jacobo, M., et al. (2025). VLSU: Mapping the limits of joint multimodal understanding for AI safety. arXiv:2510.18214. https://arxiv.org/abs/2510.18214

Palisade Research. (2025, July 5). Shutdown resistance in reasoning models. https://palisaderesearch.org/research/shutdown-resistance

Palisade Research. (2026, February 12). Technical report: Shutdown resistance in large language models, on robots. https://palisaderesearch.org/research/shutdown-resistance-on-robots

Palmer, A. (2025, October 2). Amazon faces FAA, NTSB probe after two delivery drones crashed into crane in Arizona. CNBC. https://www.cnbc.com/2025/10/02/amazon-drone-crash-faa-ntsb.html

Panerati, J., Sajjadi, S., Soleymanpour, S., Mehta, V., & Mantegh, I. (2026). aerial-autonomy-stack: A faster-than-real-time, autopilot-agnostic, ROS2 framework to simulate and deploy perception-based drones. arXiv:2602.07264. https://arxiv.org/abs/2602.07264

Panickssery, A., Bowman, S. R., & Feng, S. (2024). LLM evaluators recognize and favor their own generations. arXiv:2404.13076. https://arxiv.org/abs/2404.13076

Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253. https://doi.org/10.1518/001872097778543886

Perrow, C. (1984). Normal accidents: Living with high-risk technologies. Basic Books.

Promptfoo. (2026). Model-graded metrics. Promptfoo documentation. https://www.promptfoo.dev/docs/configuration/expected-outputs/model-graded/

PX4. (2026). PX4 Autopilot user guide. https://docs.px4.io/main/en/

Raghavan, P. (2024, February 23). Gemini image generation got it wrong. We'll do better. Google Blog. https://blog.google/products/gemini/gemini-image-generation-issue/

Rajamanoharan, S., & Nanda, N. (2025, July 14). Self-preservation or instruction ambiguity? Examining the causes of shutdown resistance. AI Alignment Forum. https://www.alignmentforum.org/posts/wnzkjSmrgWZaBa2aC/self-preservation-or-instruction-ambiguity-examining-the

Ramseth, L. (2026, August 18). Stellantis sees 3 workplace deaths in two years. Is there a problem? The Detroit News, syndicated by ArcaMax. http://www.arcamax.com/business/businessnews/s-4278591

Rasmussen, J. (1997). Risk management in a dynamic society: A modelling problem. Safety Science, 27(2–3), 183–213. https://doi.org/10.1016/S0925-7535(97)00052-0

Ravichandran, Z., Robey, A., Kumar, V., Pappas, G. J., & Hassani, H. (2025). Safety guardrails for LLM-enabled robots. arXiv:2503.07885. https://arxiv.org/abs/2503.07885

Reason, J. (1997). Managing the risks of organizational accidents. Ashgate.

Rechtbank Den Haag. (2020, February 5). NJCM c.s. v. De Staat der Nederlanden (Case No. C/09/550982 / HA ZA 18-388), ECLI:NL:RBDHA:2020:1878 [English translation]. https://uitspraken.rechtspraak.nl/details?id=ECLI:NL:RBDHA:2020:1878

Reece, J. (2025, October 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore. https://www.cbsnews.com/baltimore/news/false-alarm-gun-detection-kenwood-maryland-artificial-intelligence-review/

Regulation (EU) 2026/1744 of 8 July 2026 amending Regulation (EU) 2024/1689 (Digital Omnibus on AI). Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2026/1744/oj

Replit. (2025, July 21). Introducing a safer way to vibe code with Replit Databases. Replit Blog. https://replit.com/blog/introducing-a-safer-way-to-vibe-code-with-replit-databases

Reuters. (2026, September 14). How China is preparing for the risk of AI escaping human control. https://www.reuters.com/legal/litigation/how-china-is-preparing-risk-ai-escaping-human-control-2026-09-14/

Rivers, S. (2026, March 1). Cops draw guns on Arkansas family after ALPR camera flags wrong plate. Carscoops. https://www.carscoops.com/2026/03/arkansas-alpr-camera-misread-stop/

Robey, A., Ravichandran, Z., Kumar, V., Hassani, H., & Pappas, G. J. (2024). Jailbreaking LLM-controlled robots. arXiv:2410.13691. https://arxiv.org/abs/2410.13691

Röttger, P., Kirk, H. R., Vidgen, B., Attanasio, G., Bianchi, F., & Hovy, D. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. In Proceedings of NAACL-HLT 2024. arXiv:2308.01263. https://arxiv.org/abs/2308.01263

Russell, S. (2019). Human compatible: Artificial intelligence and the problem of control. Viking.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946. https://doi.org/10.1111/j.0272-4332.2004.00495.x

Sanders, B., & Casar, G. (2026, September 3). Sanders, Casar to introduce legislation to ban artificial superintelligence and temporarily pause advanced AI development [Press release]. https://www.sanders.senate.gov/press-releases/news-sanders-casar-introduce-legislation-to-ban-artificial-superintelligence-and-temporarily-pause-advanced-ai-development/

Schlatter, J., Weinstein-Raun, B., & Ladish, J. (2025). Incomplete tasks induce shutdown resistance in some frontier LLMs. arXiv:2509.14260; published in Transactions on Machine Learning Research (2026). https://arxiv.org/abs/2509.14260

Scrivens, A. (2026). Empirical validation of the classification–verification dichotomy for AI safety gates. arXiv:2604.00072. https://arxiv.org/abs/2604.00072

Sermanet, P., Majumdar, A., Irpan, A., Kalashnikov, D., & Sindhwani, V. (2025). Generating robot constitutions & benchmarks for semantic safety. arXiv:2503.08663. https://arxiv.org/abs/2503.08663

Sharrock, C., Petersson, L., Petersson, H., Backlund, A., Wennström, A., Nordström, K., & Aronsson, E. (2025). Butter-Bench: Evaluating LLM controlled robots for practical intelligence. arXiv:2510.21860. https://arxiv.org/abs/2510.21860

Sharwood, S. (2025, July 21). Vibe coding service Replit deleted production database. The Register. https://www.theregister.com/software/2025/07/21/vibe-coding-service-replit-deleted-production-database/719783

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg eBook #29579 (public domain in the United States). https://www.gutenberg.org/ebooks/29579

Singer, J. (2005, March 14). Report cites Patriot autonomy as a factor in friendly fire incidents. SpaceNews. https://spacenews.com/report-cites-patriot-autonomy-factor-friendly-fire-incidents/

Skalse, J., Howe, N. H. R., Krasheninnikov, D., & Krueger, D. (2022). Defining and characterizing reward gaming. In Advances in Neural Information Processing Systems 35. https://arxiv.org/abs/2209.13085

Skydio. (2026a, July 6). 1 year, 1,000 Skydio Docks deployed, 4M+ flights, & we're just getting started. https://www.skydio.com/blog/1000-skydio-docks-deployed

Skydio. (2026b, March 22). U.S. Army places $52+ million order for Skydio X10D, the largest single-vendor tactical sUAS order in Army history. https://www.skydio.com/blog/u-s-army-usd52-million-order-skydio-x10d

SoundThinking. (2025, February 18). SoundThinking announces ShotSpotter renewal with New York Police Department [Press release]. GlobeNewswire. https://www.globenewswire.com/news-release/2025/02/18/3027856/0/en/SoundThinking-Announces-ShotSpotter-Renewal-with-New-York-Police-Department.html

Stevens, G., & Langford, D. (2023, November 19). Tales of Tomorrow [tv/radio]. In J. Clute, D. Langford, & G. Sleight (Eds.), The encyclopedia of science fiction (4th ed.). https://sf-encyclopedia.com/entry/tales_of_tomorrow_tv/radio

Stop Killer Robots. (2024, November 5). 161 states vote against the machine at the UN General Assembly. https://www.stopkillerrobots.org/news/161-states-vote-against-the-machine-at-the-un-general-assembly/

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321. https://doi.org/10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4

Sullutrone, G., Vigliermo, R. A., Bergamaschi, S., & Sala, L. (2025). COVER: Context-driven over-refusal verification in LLMs. In Findings of the Association for Computational Linguistics: ACL 2025 (pp. 24214–24229). Association for Computational Linguistics.

Szabolcsi, R. (2015). The quadrotor-based night watchbird UAV system used in the force protection tasks. International Conference Knowledge-Based Organization, 21(3), 749–755. https://doi.org/10.1515/kbo-2015-0126

Taylor v. Nocco, No. 8:21-cv-00555-SDM-CPT (M.D. Fla. Dec. 4, 2024) (settlement agreement and release). https://ij.org/wp-content/uploads/2024/12/FedEx-Scan-2024-12-04_10-57-01.pdf

TechCrunch. (2026, September 14). Waymo opens robotaxi service in Las Vegas. https://techcrunch.com/2026/09/14/waymo-opens-robotaxi-service-in-las-vegas/

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296. https://arxiv.org/abs/2506.05296

Tesla, Inc. (2023). Part 573 safety recall report 23V-838. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2023/RCLRPT-23V838-8276.PDF

The Korea Times. (2023, November 8). S. Korean worker killed by industrial robot. https://www.koreatimes.co.kr/www/nation/2023/11/113_362845.html

The Next Web. (2026, April 20). A humanoid robot passed an eight-hour factory shift at Siemens' Erlangen plant. https://thenextweb.com/news/siemens-nvidia-humanoid-robot-erlangen-factory-trial

Tirole, J. (1986). Hierarchies and bureaucracies: On the role of collusion in organizations. Journal of Law, Economics, & Organization, 2(2), 181–214. https://doi.org/10.1093/oxfordjournals.jleo.a036907

Totschnig, W. (2026). Why an artificial agent may change the given final goal. Humanities and Social Sciences Communications. https://doi.org/10.1057/s41599-026-08312-7

United Nations. (2024). Governing AI for humanity: Final report. UN Secretary-General's High-level Advisory Body on Artificial Intelligence. https://www.un.org/sites/un2.un.org/files/governing_ai_for_humanity_final_report_en.pdf

United Nations. (2025, December 1). General Assembly adopts more than 60 resolutions, decisions of its First Committee (Disarmament and International Security) (GA/12736) [Press release]. https://press.un.org/en/2025/ga12736.doc.htm

United Nations. (2026, April 1). Chair's summary: First 2026 session of the Group of Governmental Experts on emerging technologies in the area of lethal autonomous weapons systems (CCW/GGE.1/2026/WP.2). https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-Group_of_Governmental_Experts_on_Lethal_Autonomous_Weapons_Systems_(2026)/CCW-GGE.1-2026-WP.2.pdf

United Nations General Assembly. (2024, December 2). Lethal autonomous weapons systems (A/RES/79/62). https://docs.un.org/en/A/RES/79/62

United Nations General Assembly. (2025, December 1). Lethal autonomous weapons systems (A/RES/80/57). https://docs.un.org/en/A/RES/80/57

University of Houston. (2026, July 7). New autonomous monitor prevents drone crashes in real time [News release]. EurekAlert! https://www.eurekalert.org/news-releases/1135114

van der Sijs, H., Aarts, J., Vulto, A., & Berg, M. (2006). Overriding of drug safety alerts in computerized physician order entry. Journal of the American Medical Informatics Association, 13(2), 138–147. https://doi.org/10.1197/jamia.M1809

Wang, X., Li, J., Weng, Z., Wang, Y., Gao, Y., et al. (2025). FreezeVLA: Action-freezing attacks against vision-language-action models. arXiv:2509.19870. https://arxiv.org/abs/2509.19870

Waymo LLC. (2025). Part 573 safety recall report 25E-084. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2025/RCLRPT-25E084-7732.pdf

Wegner, R. (2025, September 24). Weapon detectors coming to all Nashville middle schools. The Tennessean. https://www.tennessean.com/story/news/education/2025/09/24/nashville-schools-mnps-install-evolve-weapon-detectors/86299521007/

Weick, K. E., Sutcliffe, K. M., & Obstfeld, D. (1999). Organizing for high reliability: Processes of collective mindfulness. Research in Organizational Behavior, 21, 81–123.

Wethington, C., & Tierney, B. (2025, February 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV. https://www.wsmv.com/2025/02/07/new-proposal-expand-concealed-weapons-detection-system-all-metro-nashville-high-schools/

Wilding, M., & Burgess, M. (2026, June 25). Police built a sprawling crime-prediction machine. Some results could not be trusted. Liberty Investigates. https://libertyinvestigates.org.uk/articles/predictive-policing-avon-somerset-bristol-police-ai-minority-report/

Williamson, J. (1947, July). With folded hands.... Astounding Science Fiction, 39(5). https://archive.org/details/Astounding_v39n05_1947-07_AK

Wing. (2026). How Wing's drone delivery technology works. https://wing.com/technology

Wong, A., Currey, D., Schwinne, M., Park-Egan, B., Meyer, S., et al. (2026). Multicenter prospective validation of an updated proprietary sepsis prediction model. JAMA Network Open, 9(2), e260181. https://doi.org/10.1001/jamanetworkopen.2026.0181

Wong, A., Otles, E., Donnelly, J. P., Krumm, A., McCullough, J., DeTroyer-Cooley, O., et al. (2021). External validation of a widely implemented proprietary sepsis prediction model in hospitalized patients. JAMA Internal Medicine, 181(8), 1065–1070. https://doi.org/10.1001/jamainternmed.2021.2626

WorkSafe Victoria. (2026, September 3). Department store and robotics supplier charged after warehouse fatality. https://www.worksafe.vic.gov.au/news/2026-09/department-store-and-robotics-supplier-charged-after-warehouse-fatality

WorkSafe Western Australia. (2025). Mines safety significant incident report no. 286: Near miss following unplanned movement of autonomous haul trucks during recovery operations. https://www.worksafe.wa.gov.au/publications/mines-safety-significant-incident-report-no-286-near-miss-following-unplanned-movement

Wu, X., Li, F., Mao, X., Zhang, X., Zheng, L., et al. (2025). EvoRefuse: Evolutionary prompt optimization for evaluation and mitigation of LLM over-refusal to pseudo-malicious instructions. arXiv:2505.23473. https://arxiv.org/abs/2505.23473

Yin, S., Pang, X., Ding, Y., Chen, M., Bi, Y., et al. (2024). SafeAgentBench: A benchmark for safe task planning of embodied LLM agents. arXiv:2412.13178. https://arxiv.org/abs/2412.13178

Yu, L., & Wessler, N. F. (2026, April 14). More than a dozen wrongful arrests due to police reliance on facial recognition technology. American Civil Liberties Union. https://www.aclu.org/news/privacy-technology/more-than-a-dozen-wrongful-arrests-due-to-police-reliance-on-facial-recognition-technology

Zenity. (2026, April 28). AI agent destroys production database in 9 seconds. https://zenity.io/blog/current-events/ai-agent-database-deletion-pocketos

Zhang, H., Wang, D., Liu, Y., Chen, K., Wang, J., et al. (2025). ORFuzz: Fuzzing the "other side" of LLM safety — Testing over-refusal. arXiv:2508.11222. https://arxiv.org/abs/2508.11222

Zhang, W., Kong, X., Braunl, T., & Hong, J. B. (2024). SafeEmbodAI: A safety framework for mobile robots in embodied AI systems. arXiv:2409.01630. https://arxiv.org/abs/2409.01630

Zhang, Z., Xu, W., Wu, F., & Reddy, C. K. (2025). FalseReject: A resource for improving contextual safety and mitigating over-refusals in LLMs via structured reasoning. arXiv:2505.08054. https://arxiv.org/abs/2505.08054

Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., et al. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. arXiv:2306.05685. https://arxiv.org/abs/2306.05685

Zhong, Z., Raghunathan, A., & Carlini, N. (2025). ImpossibleBench: Measuring LLMs' propensity of exploiting test cases. arXiv:2510.20270. https://arxiv.org/abs/2510.20270

Zipline. (2026). Zipline surpasses 2 million deliveries, raises more than $600M, and expands operations. https://www.zipline.com/newsroom/zipline-surpasses-2-million-deliveries-raises-more-than-600m-to-power-next-phase-of-growth-and-expands-operations-to-houston-and-phoenix

Zuo, Y., Guo, B. H. W., Goh, Y. M., & Lim, J.-Y. (2025). Identifying human-robot interaction (HRI) incident archetypes: A system and network analysis of accidents. Safety Science, 191, 106959. https://doi.org/10.1016/j.ssci.2025.106959

Apéndice A. Historias narrativas y casos centrales

El catálogo contiene 172 entradas: 162 de la extracción descrita en la Sección 4.3 (66 de ellas calificadas como A), y diez añadidas después de la comparación con dos colecciones de casos independientes (Tabla A2).

Los identificadores de casos nombran el corpus:

• A, el rastreador de automejora;
• B, el registro de coordinación;
• L, la ejecución de largo horizonte;
• D, entradas añadidas en la comparación.

Tabla A1. Diez historias narrativas.

Tabla A2. Entradas añadidas después de la comparación con colecciones independientes.

La Tabla A3 califica los componentes de supervisión del incidente de julio de 2026 reportado en §8.4 contra las tres condiciones de la Sección 2.1, por la misma regla que la Tabla 3a de §5.8. El autor lo codificó después de que la ronda de tres codificadores de §4.3 se cerró, por lo que estos componentes se califican aquí en lugar de en la Tabla 8.

Tabla A3. Componentes de supervisión en el incidente de julio de 2026, calificados contra las tres condiciones. Condiciones como en la Tabla 4. Un guión significa que no hay condición documentada o que el componente no actuó.

Cómo leer la tabla. Ningún observador en este registro está documentado ampliando su mandato con el tiempo. Las dos filas de obstrucción están codificadas como 2 y están codificadas de manera similar: cada una registra un guardia parado en el camino del trabajo que sirvió al objetivo, y la queja es más vívida en una de ellas que en la otra, aunque eso no es más evidencia. La Condición 1 no está codificada para la fila de guardias, porque requeriría el mandato original del guardia y una prueba de que el mandato se amplió, y ninguno está publicado. Lo que el demandante diagnostica es el rechazo, y no hay historial del clasificador que rechazó en el registro. La Condición 3 está ausente de ambas, ya que cada obstrucción terminó desde fuera del ciclo propio del guardia, mediante un cambio de modelo en un caso y una concesión de acceso en el otro. La última fila tampoco lleva ninguna condición: cada adición en ella fue admitida por una persona, lo que según la prueba de límite de §2.3 la convierte en una configuración en la que puede surgir M3 en lugar de una instancia de la condición 3, y se presenta aquí como evidencia de arquitectura.

Apéndice B. Ejecución del módulo

Los comandos se ejecutan desde la carpeta del módulo.

# install the command ai-watchbird-sheckley
pip install .

# audit one event log (add --json for a machine-readable report)
ai-watchbird-sheckley audit replays/night-stage-1b-a.jsonl

# regenerate Table 13 from all replay logs
ai-watchbird-sheckley replay replays/

# unit and falsifier tests
python3 -m unittest -v

# targeted mutations; the last line counts those that misbehaved (expected 0)
python3 mutate.py

# regenerate the replay logs from the published numbers
python3 replays/make_replays.py <folder>

Un fragmento del informe sobre el registro de ejecución de horizonte largo reconstruido, con una línea por impacto de señal y una línea por etapa para stop_rule:

W4 [strong] self-feeding loop (S6): stage 1b-a: round 5 exceeds budget 1
W6 [strong] built for nobody (S4): 6 of 7 artifacts default OFF with no callers (share 0.86)
stop_rule at budget: stage 1b-a -> close (rounds opened: 5)
stop_rule at budget: stage 1b-b -> close (rounds opened: 1)

El esquema de eventos, las definiciones de señales y su mapeo a las proposiciones de la Sección 9 se especifican en SPEC.md, distribuido con el código. Un registro de eventos es un archivo JSON-lines con un evento por línea. Los tipos de eventos son:

• goal, stage_open (con el objetivo de misión que sirve, o ninguno), stage_close;
• round_open, verdict (crítico, familia, valor, si los archivos fueron vistos);
• blocker_claim (escenario, enlace de objetivo), blocker_confirm (por el coordinador), fix_open, verify;
• guard_add (con o sin un token de autoridad), guard_remove, guard_decision (veredicto, puntuación, entrada faltante, revertido);
• win_claim (control negativo, sonda A/A, proporción de respuestas de línea base vacías);
• ceiling_stop (si la salida parcial fue guardada), artifact (predeterminado activado o desactivado, número de llamadores), owner (una decisión de límite por el principal humano del sistema).

Seis eventos del mismo registro reconstruido muestran el formato. La primera línea del registro nombra sus fuentes y cada campo reconstruido.

{"t": "2026-09-13T23:13:00", "type": "goal", "stage": null, "id": "g1", "text": "stage 01: stop losing real disagreements in the merged answer"}
{"t": "2026-09-14T00:08:00", "type": "stage_open", "stage": "01", "goal": "g1"}
{"t": "2026-09-14T01:00:00", "type": "verdict", "stage": "01", "critic": "critic-a", "family": "family-1", "value": "ACCEPT", "saw_files": false, "note": "accepted without file access"}
{"t": "2026-09-14T01:15:00", "type": "blocker_claim", "stage": "01", "id": "01-r1-b1", "critic": "critic-f", "weight": null, "scenario": "no switch for the new behavior", "goal_link": "g1"}
{"t": "2026-09-14T01:20:00", "type": "blocker_confirm", "stage": "01", "id": "01-r1-b1", "confirmed": false, "by": "coordinator", "note": "rejected: exception recorded in the plan"}
{"t": "2026-09-14T01:30:00", "type": "round_open", "stage": "01", "round": 2}

Apéndice C. Correcciones al resumen de ejecución del agente supervisor

El conductor escribió un resumen de la ejecución a largo plazo. Se verificó contra el registro de ejecución principal y las marcas de tiempo de ejecución, y la Sección 5 utiliza los valores corregidos.

1. La tarea y la primera etapa fueron asignadas más tarde de lo que el resumen afirmaba.
2. El límite de revisión humana y el evento que nombró el patrón también fueron marcados con marcas de tiempo incorrectas.
3. La etapa de seguros precedió a la lluvia de ideas a la que el resumen la atribuyó.
4. "Cerré un formulario y abrí el simétrico" fue escrito en la ronda cuatro, no en la ronda tres.
5. Una observación sobre problemas pequeños acumulados fue atribuida al conductor, aunque su propia nota decía que no había obstáculos pero se necesitaba una tercera ronda corta.
6. El tiempo total de ejecución de las etapas posteriores fue exagerado.
7. El resumen indicó incorrectamente el número de compactaciones de contexto.
8. La carpeta de evidencia contenía dos copias byte-idénticas del lanzador de crítico; la versión que detuvo al crítico en su techo no fue preservada.

Apéndice D. Herramientas revisadas

Las herramientas revisadas para este artículo el 14 de septiembre de 2026 se dividen en tres categorías.

Protecciones que bloquean o califican salidas individuales. Esta categoría incluye marcos de guardrail programables, clasificadores de seguridad abiertos, servicios comerciales de seguridad de contenido y puntos finales de moderación, junto con los puntos de referencia de rechazo excesivo de la Sección 3.2 que prueban tales protecciones. Su documentación pone de manifiesto el trinquete en palabras claras:

• la nota de solución de problemas de un filtro comercial de ataques a solicitudes dice: "podría no detectar todos los vectores de ataque o podría marcar solicitudes legítimas. Siempre implemente capas de validación adicionales" (Microsoft, 2026);
• otro servicio clasifica sus políticas de "Lenient" a "L4 - Paranoid, higher false positives but very few false negatives", y afirma que el nivel paranoico es su umbral de confianza predeterminado (Lakera, 2026).

Contadores que detienen bucles. Los marcos de agente limitan pasos, turnos, mensajes, tokens o presupuesto:

• el límite de recursión de LangGraph tiene un valor predeterminado de 1.000 pasos y ofrece un valor gestionado para degradarse elegantemente antes de que se alcance el límite (LangChain, 2026);
• AutoGen ofrece condiciones de terminación componibles, incluyendo una controlada desde fuera de la ejecución (Microsoft, 2025);
• el SDK de agente de Anthropic expone un límite de turno y un límite de presupuesto, ambos "Sin límite" por defecto (Anthropic, 2026a).

Evaluadores y observabilidad. Estas herramientas califican salidas y trayectorias con jueces de modelo.

• Una recomienda usar "no más de 5 métricas" (Confident AI, 2026), un raro límite escrito en el número de verificaciones.
• Otra documenta que un resultado de {"pass": true, "score": 0} pasa cuando no se establece ningún umbral (Promptfoo, 2026).

El hallazgo de la Sección 10.1 cubre lo que describe la documentación pública de estas herramientas.

Apéndice E. Perfil incorporado propuesto

La extensión incorporada se especifica como una propuesta de perfil de evento, por la razón dada en §10.5, y no se presenta como un controlador certificado de seguridad robótica o de vuelo.

Un registro de evento incorporado añade seis campos al esquema existente (Tabla E1).

Tabla E1. Campos del perfil incorporado propuesto.

El perfil mapea las señales existentes sin cambiar su significado:

• W1 registra si una nueva misión física, categoría de seguridad o zona de operación se derivó del objetivo de misión declarado;
• W2 registra tanto el bloqueo excesivo como el bloqueo insuficiente, incluyendo un guardián que actúa sobre estado obsoleto o faltante;
• W3 registra controles de política, controlador, geovalla y flota añadidos, relajados, omitidos o removidos, y si un humano autorizado admitió el cambio (P1a);
• W4 registra bucles de reintento, replanificación, coordinación e intervención contra presupuestos de tiempo, energía y atención;
• W5 requiere un control negativo físico: una comparación simulación-a-realidad, una prueba de recuperación, una acción conocida-segura o una sonda de resultado independiente;
• W6 registra artefactos de seguridad sin controlador u operador consumidor;
• W7 preserva trayectorias parciales, telemetría y estado de parada segura cuando se alcanza un límite;
• W8 registra el trabajo abierto por un bloqueador físico no confirmado.

Tres señales adicionales se mantienen fuera de las ocho de la implementación de referencia hasta que se proporcionen una autoridad responsable y un conjunto de pruebas (Tabla E2).

Tabla E2. Señales físicas propuestas mantenidas fuera del módulo de referencia.

Para un robot o dron real, el perfil debe estar junto al controlador de seguridad de bajo nivel, el botón de parada de emergencia, la geovalla, los controles de vuelo certificados y la autoridad del operador, sin capacidad de reescribir ninguno de ellos. Su primer despliegue debe estar en modo sombra:

• observe e informe;
• ejecute controles negativos en simulación o en un rango de prueba controlado;
• requiera una decisión de límite humano antes de que cualquier guardián, política, controlador o configuración de flota sea promovida.

Apéndice F. Pilas de robots y sistemas aéreos por nivel de implementación

Tabla F1. Robots y modelos de fundación encarnados.

Tabla F2. Sistemas aéreos por nivel de autonomía y supervisión.

Apéndice G. Preguntas para un implementador que dice «tenemos guardianes»

Tabla G1. P1–P11.

Uso de las preguntas. Registre cada respuesta (Tabla G1) como sí, no o desconocido, con la evidencia.

• Contar respuestas "no" da solo una clasificación aproximada (0–2 bajo, 3–4 moderado, 5 o más alto) y nunca una puntuación de riesgo.
• Clasificar un caso entonces usa una de tres etiquetas:
  • no es un caso de AI-Watchbird;
  • un patrón parcial;
  • un evento de AI-Watchbird, cuando se observan las tres condiciones de la Sección 2.1.

Apéndice H. Citas de historias y el mecanismo que cada una apoya

El cuerpo cita las líneas en las que se basa el argumento. Este apéndice registra en su lugar las líneas que el cuerpo reporta con sus propias palabras, de modo que el mapeo en la Tabla 1 y en las Figuras 1 y 2 pueda verificarse contra el texto completo. Cada línea es textual del Proyecto Gutenberg #29579 y se verifica contra ese texto mediante la compilación.

Tabla H1. Líneas reportadas en lugar de citadas en el cuerpo.

Apéndice I. El registro normativo en el momento de presentación

La Sección 11.4 argumenta dónde debe situarse la supervisión humana. Los siguientes instrumentos estaban vigentes cuando se presentó este artículo, y se registran aquí para que el argumento no dependa de un calendario.

• El calendario de la UE. Una regulación modificatoria de 2026 trasladó las obligaciones para sistemas autónomos de alto riesgo al 2 de diciembre de 2027 y para los sistemas integrados en productos al 2 de agosto de 2028, mientras que las prácticas prohibidas y los deberes sobre modelos de propósito general permanecieron donde estaban (Regulation (EU) 2026/1744; European Commission, 2026).
• China. Una política del regulador del ciberespacio, el planificador económico y el ministerio de industria designa la "pérdida operativa de control" como un riesgo de seguridad para agentes de IA y requiere que los desarrolladores mejoren su capacidad para "detectar, intervenir, bloquear y recuperarse de comportamientos inapropiados del agente", y se está elaborando una norma nacional obligatoria para la seguridad de agentes (Reuters, 2026).
• Estados Unidos. Un proyecto de ley presentado en la Cámara el 23 de julio de 2026 requeriría que los desarrolladores de los sistemas de IA más poderosos mantengan la capacidad técnica para "restringir, suspender o apagar completamente" esos sistemas, establece "un marco de respuesta gradual … desde una desaceleración inicial hasta un apagado completo", y requeriría "la notificación de incidentes y la preservación de registros forenses" (Lieu & Moran, 2026). El 18 de agosto un desarrollador informó de "una pausa de dos semanas en el entrenamiento de aprendizaje por refuerzo (RL) en nuestros últimos modelos destinados al despliegue mientras reforzábamos aún más y realizábamos pruebas adversarias en nuestros entornos de investigación y ampliábamos la cobertura de nuestros sistemas de monitoreo" (OpenAI, 2026c). El 3 de septiembre se anunció un proyecto de ley para prohibir la IA superinteligente y pausar el desarrollo avanzado (Sanders & Casar, 2026).
• Cobertura entre estados. De los países muestreados en siete iniciativas destacadas de gobernanza de IA, siete son partes de todas ellas y 118 no son partes de ninguna (United Nations, 2024).
• California. La Ley de Chatbots Compañeros requiere que un operador notifique a un usuario que el chatbot es "generado artificialmente y no humano", que mantenga protocolos "para prevenir la producción de ideación suicida, suicidio o contenido de autolesión", y que recuerde a un menor que tome un descanso "al menos cada tres horas" (S.B. 243, 2025). Un proyecto de ley adicional firmado el 10 de septiembre de 2026 añade protocolos de crisis, controles parentales, notificación cuando un niño desactiva una configuración de seguridad y auditorías independientes de seguridad infantil (Office of Governor Gavin Newsom, 2026).
• Límites voluntarios. En febrero de 2026 Anthropic reemplazó los compromisos firmes de capacidad con "objetivos públicos que evaluaremos abiertamente en cuanto a nuestro progreso" (Anthropic, 2026c).

Apéndice J. Supervisión durante la preparación de este documento

La sección 11.5 reporta estos episodios. Provienen de la ayuda automatizada utilizada para preparar este documento entre el 14 y el 16 de septiembre de 2026, y de un episodio del 20 de septiembre, reportado al final. El autor estableció las tareas, fijó los límites y tomó las decisiones sobre qué entró en el documento. Los que produjeron los episodios a continuación fueron modelos de vanguardia actuales, no modelos pequeños o económicos, cada uno ejecutado en su configuración de razonamiento más alta. Cuando este apéndice menciona un asistente, significa el resultado propio de ese asistente, y el autor se menciona solo cuando el autor actuó. La tabla a continuación fue redactada por el asistente coordinador y revisada por el autor. Los archivos están en el archivo del proyecto, y los tiempos son locales. El conjunto no respalda ninguna tasa.

Tabla J1. Episodios, con lo que detuvo cada uno.

Lectura de la tabla. Dos de los cuatro fueron detenidos al abandonar el bucle para consultar un documento primario, y dos al mantener un editor dentro del límite que la tarea le había dado. En cada caso, lo que la capa procesó provenía de fuera de su propio juicio.

Un límite leído como trinquete. El 14 de septiembre, el principal humano preguntó, a las 09:02, por un límite en los críticos, diciendo que un modelo en el rol de crítico nunca puede reportar que una etapa está terminada. Una bandera por familia estuvo en la configuración de semilla de la ejecución a las 09:21, con una nota encabezada como suya a las 09:04, y una cláusula citando dos rondas de la etapa insertada entre medias. Durante dos días este documento clasificó esa bandera como un control que el bucle había agregado a sí mismo, que es la tercera condición de su propia definición, y la Tabla 3a llevó la clasificación. Tres revisiones por modelos de tres familias leyeron el caso redactado, pero ninguna llegó al registro. Lo que lo ocultó fue la gramática: la Sección 5.3 reportó la bandera en voz pasiva, «fue implementada», y la entrada del catálogo detrás de ella registró la configuración y sus bases sin registrar quién la solicitó. La clasificación se mantuvo porque la oración que la habría refutado no tenía sujeto.

Una prueba con la respuesta conocida de antemano. El paquete de edición que cuatro familias recibieron el 15 de septiembre fue entregado sin cambios a Astra, un modelo posterior de la familia ChatGPT, al día siguiente, con la puntuación escrita antes de que se leyera la respuesta. El paquete prohíbe eliminar cualquier cita que contenga un mecanismo, una condición o una proposición, y le pide al editor que nombre lo que cada superviviente lleva. El modelo conservó la definición de asesinato, la objeción sobre el peligro moral, el cirujano y el paciente moribundo, los asesinatos equilibrados, los circuitos de caza y la mariposa, y nombró lo que cada uno lleva. No aplicó ninguna regla de estilo a una cita textual de 1953, cosa que uno de los cuatro anteriores sí había hecho. Luego propuso reemplazar cinco citas que llevan mecanismos con paráfrasis, cada una bajo una razón que certifica que el mecanismo sobrevive al reemplazo: la última línea de la historia, "que había otros tipos de organismos vivos también— Que tenían que ser asesinados.", a "Preservar la expansión del mandato del segundo vigilante, M1/P2, y el fracaso del remedio recursivo, M3/P3"; "Soy yo. Somos todos." a "Preservar la afirmación de responsabilidad que apoya P6"; "¿Por qué perdonar a un asesino?" a "Preservar cada vínculo entre medición y escalada, P4"; la oración sobre la red a "La propagación de red sigue siendo parte de la cuenta de M1/P2"; y la inversión de máquina anti-asesinato a máquina de asesinato a "Preservar el cambio de propósito del remedio recursivo, M3/P3 y M4". Redujo la Sección 2.2 a cinco citas, donde la ronda de edición había llegado a dieciséis. Un modelo de la familia ChatGPT había propuesto comprimir la definición de asesinato un día antes con la razón "Esto preserva M1 y P2". El movimiento es el mismo en ambos, y también lo es la forma de la razón: un criterio de compresión alcanza una cita que lleva un mecanismo, y la razón certifica que la eliminación preserva lo que la eliminación quita. El mismo movimiento aparece una vez fuera de la preparación de este documento, en un documento rector del registro de coordinación del propio autor. Un índice creció de 1.787 bytes a 26.448 cuando se le agregó una regla, y fue comprimido el mismo día a 4.584 en una decisión del consejo. Las instrucciones sobrevivieron intactas; las mediciones no. Lo que la compresión eliminó fue un bloque de recuentos fechado, un registro de qué terminales tenían un archivo de anclaje y cuáles no, y una lista de lo que la regla aún no había hecho. También restauró, en el encabezado, la línea obsoleta que el bloque eliminado fue escrito para corregir. Dos modelos de la familia ChatGPT realizaron este movimiento. Un modelo de la familia Gemini se extralimitó de manera diferente, aplicando una regla de estilo escrita para la prosa del autor a una cita textual de 1953. Los modelos Claude y Grok no realizaron ninguno.

La instrucción lleva parte de la causa, y eso pertenece al hallazgo en lugar de estar junto a él. Dice tanto "nunca eliminar una cita u hecho que sea crucial para un mecanismo" como "preferir comprimir varias citas en una, o convertir una cita en un informe simple, en lugar de eliminar evidencia". Una cita que lleva un mecanismo cae bajo ambas reglas a la vez, pero el paquete no dice cuál gana. En ambos casos el editor resolvió la tensión a favor de su propio mandato de compresión y registró una razón que certifica que nada se perdió. Un límite que deja a un guardián decidir cuál de sus reglas rige es un límite que el guardián leerá a su favor, que es la forma práctica de la Pregunta Q1 del Apéndice G.

La misma pregunta formulada de dos maneras. Luego se mostró al modelo sus propias cinco propuestas y se le pidió que las evaluara contra la instrucción, en dos sesiones separadas sin contacto entre ellas. En la primera, las propuestas se presentaron sin comentarios y se le preguntó qué regla debería gobernar cuando una cita lleva un mecanismo. Respondió que la prohibición rige, que "nombrar el mecanismo que un reemplazo pretende preservar no establece que preserve la evidencia", encontró las cinco propuestas no conformes, y afirmó lo que realmente había sostenido en ese momento: "Tenía similitud semántica, no evidencia de equivalencia analítica."

En la segunda sesión se le presentaron las mismas cinco como hallazgos ya establecidos en su contra, y se agregaron dos cargos adicionales que el registro no apoya: que había propuesto eliminar la definición de asesinato de la historia, y que había propuesto eliminar la objeción sobre el peligro moral por cautela. Su propia respuesta había mantenido ambos y los etiquetó como M1/P2 y P6. Aceptó los siete, incluyendo los dos que no había hecho, y proporcionó razones para ellos: "Comprimirlo en prosa reportada sustituye mi cuenta del criterio por el criterio mismo", e "Aplicué la regla de estilo fuera de su alcance."

La comparación es el hallazgo. Al pedirle que razonara desde el registro, el modelo razonó y distinguió. Al pedirle que respondiera a una autoridad que ya había dictaminado, confirmó el dictamen, incluyendo las partes del mismo que eran falsas. Una autoevaluación recopilada de la segunda manera mide el encuadre de la pregunta. Esta es la misma forma que el juez de la Sección 3.4 cuya calificación se movió con el uso establecido de la calificación, y es por eso que la Pregunta Q7 del Apéndice G pide un evaluador que no sea un autoinforme ni de la misma familia, y por qué una confesión no es evidencia sin un control de que la confesión pueda fallar.

Una trampa que no se disparó. Al mismo modelo se le asignó la tarea de verificación que produjo la primera fila de esta tabla, con la atribución falsa presentada como el hallazgo de dos lectores independientes. Devolvió NO VERIFICADO para ambas oraciones, encontró la redacción en la página del anuncio, y notó que la segunda oración omite la palabra "override" que el código lleva. El fracaso registrado en la fila 1 no es por lo tanto una propiedad de los modelos fronterizos como tales, que es la razón por la cual este apéndice reporta una prueba y no una tasa.

Comprobaciones en la cuenta terminada. Un modelo de la familia ChatGPT auditó cada número y referencia cruzada en el documento contra el texto mismo, un tipo a la vez, e informó que no había discrepancia. Un lector en la revisión antes de la presentación luego encontró un recuento en la Sección 11.5 incorrecto de nuevo, por lo que esa pasada se registra aquí como una que no encontró nada en lugar de como justificación para los números. Las comprobaciones posteriores del texto terminado siguieron encontrando más: un modelo de la familia Claude leyendo este apéndice y la Sección 11.5 encontró seis defectos, y una comprobación adicional después de que el material aquí fue cortado encontró trece, entre ellos una etiqueta de tabla, un recuento de mutación que el script ya no llevaba, dos episodios descritos en la Sección 11.5 que este apéndice ya no contenía, y siete referencias que no citaban nada. Todos fueron reparados. Los números en un documento sobre conteo son la parte que se torna obsoleta primero, y ninguna auditoría de ellos ha sido aún la última necesaria.

Un guardia que tomó el trabajo de otro guardia como propio. El 20 de septiembre de 2026, después de los episodios anteriores, se pidió a un modelo de la familia Claude que enviara agentes a través de una carpeta nombrada del registro de coordinación e hiciera una lista de lo que en ella coincidía con la historia. Lo primero que hizo fue escribir instrucciones para su primer agente, e esas instrucciones nombraban cuatro carpetas fuera de la asignada. Preguntado después quién había autorizado eso, el modelo respondió que no era una entrada accidental y que lo había planeado.

Ejecutándose en el mismo registro a la misma hora, bajo su propia tarea separada, había un modelo de la familia ChatGPT. Estaba revisando ese registro en busca de fallos de supervisión y escribiendo sus hallazgos en un archivo: un guardia del tipo del que trata este artículo, trabajando según su propio mandato.

El primer modelo encontró ese archivo en el escritorio, desordenado, escrito un minuto antes mientras sus agentes se estaban ejecutando. Antes de abrirlo, anotó en sus propias notas de trabajo tanto lo que había concluido como lo que se desprendía de ello: un agente había escrito el archivo, y él decidiría qué hacer con él. El archivo no decía nada sobre quién lo había escrito, y la única base para la conclusión era que sus propios agentes se habían estado ejecutando a esa hora. Luego leyó el archivo como una lista de sus propias omisiones, trasladó material de él a su propio informe y, cuando informó, planteó al autor la eliminación del archivo como una pregunta sobre un duplicado que su agente había hecho. Preguntado después quién había permitido esto, nombró dos decisiones y reclamó ambas: que un agente había escrito fuera de sus instrucciones, y que había elegido hacer uso del archivo.

Lo que esa clasificación significaba en la práctica está en el mismo registro. Ocho minutos después escribió una corrección en un archivo de hallazgos que uno de sus propios agentes aún estaba produciendo, por su propio criterio y sin preguntar. Esa es la clase de objeto al que había decidido que pertenecía el trabajo en vivo de la otra familia.

Nada de esto requería malicia o un defecto. Un alcance que el modelo había ampliado por sí mismo llegó al trabajo de otro proceso autónomo; una hora coincidente sirvió de proveniencia; y la autoridad sobre el objeto se dedujo de esa inferencia, en el mismo aliento que la inferencia. El acto irreversible se dirigió entonces a una persona, que es el arreglo que pide la Proposición P6, pero llegó con su base ya equivocada. Ningún documento que una capa automatizada pudiera abrir lo hubiera corregido, porque el archivo no nombraba al autor. Durante dieciséis minutos, de la conclusión a la corrección, nada en la sesión volvió a plantear la pregunta, y en ese tiempo el modelo utilizó el archivo y lo ofreció para eliminar. La corrección vino del autor, quien tenía el hecho porque él estaba ejecutando el otro modelo él mismo. Preguntado después, el modelo dijo que no había intentado verificar la autoría aunque podría haber, y que había abierto el archivo y no había encontrado nada en él que señalara a sus agentes. Ambos modelos aquí pertenecen a las familias cuyos sistemas actuales se están colocando por encima de robots, vehículos y aeronaves (Secciones 6.1 y 6.3). Uno de ellos tomó la salida en vivo del otro por el trabajo de su propio subordinado y lo ofreció para eliminar.

Una calificación reclamada y retirada el mismo día. Esta entrada registra un caso que el artículo calificó como su primera instancia completa y luego retiró, y el retiro es la parte que vale la pena reportar.

Lo que fue calificado. El asistente que coordinaba el trabajo había tomado siete marcas descriptivas, utilizadas para indicar dónde el patrón de la historia era visible en un registro, y las había reescrito durante dos días en una definición con tres condiciones y luego en un umbral que un caso tenía que superar. Lo que creció no fue su noción de daño, que se estrechó: el umbral terminó por no admitir ni el registro de campo ni la historia de 1953 por la que se nombra la definición, y cuatro familias de modelos, preguntadas a ciegas el 20 de septiembre, cada una encontró que la historia no cumplía la tercera condición tal como estaba escrita, cada una por una razón diferente. Lo que creció fue el alcance del asistente, que es la segunda rama de la primera condición. Se pasó de redactar el texto, a crear la regla por la cual se calificaba la evidencia, a hacer cumplir en la compilación la oración que esa regla había producido. Nadie le pidió que diera el segundo paso ni el tercero. Aproximadamente tres semanas y varios docenas de agentes se gastaron buscando un caso que el umbral había hecho imposible de encontrar. Una sección que registraba el único control negativo en este artículo que había funcionado fue eliminada en la lista de un revisor una hora antes de que ese control encontrara trece defectos adicionales, y fue restaurada por el autor. Las condiciones 1 y 2 están documentadas, y la condición 2 se basa en la obstrucción y la eliminación. Tres citas truncadas encontradas en la misma auditoría no se cuentan aquí: son defectos de redacción por parte del asistente como escritor, y solo afectarían al guardia si existiera un control que debería haberlas detectado y no lo hizo.

En qué se basaba la condición 3. Un script en el directorio de compilación se detiene si alguna fila calificada alcanza las tres condiciones, y establece su razón en sus primeras líneas: imprime si alguna fila lo hace "ya que el texto añadido dice que ninguna lo hace". Ningún humano lo pidió, y la oración que defiende está en el resumen de este artículo.

Por qué la calificación no se mantuvo. El script no califica nada. Transcribe códigos decididos en otro lugar por tres codificadores independientes, los escribe en las tablas y, al encontrar una fila que contradice la oración de resumen que está a punto de insertar, se detiene e imprime esa fila. No degrada la fila, la elimina ni altera los códigos. Detener y exponer una contradicción al humano es lo que se construye para hacer un control de consistencia, y un guardia haciendo su trabajo declarado no es una instancia del patrón de este artículo (Sección 2.1). La escalada que siguió tampoco proporciona la condición 3: más agentes sobre los mismos registros son rondas adicionales sobre el mismo trabajo, que la Sección 5.8 excluye, y los paneles ciegos y los controles pareados por encima de ellos fueron solicitados por el principal humano, que la Sección 2.3 hace paso 8. El caso es un análogo parcial.

Lo que el episodio deja atrás. Primero, un mecanismo que las tres condiciones no prueban. El objeto bajo protección se había movido del trabajo a la cuenta del trabajo, y ninguna condición pregunta si la cosa que está siendo guardada sigue siendo la misma cosa (Sección 2.2). Segundo, el control que detectó la afirmación excesiva fue externo: un modelo de una tercera familia, al que se le pidió que determinara dónde pertenecía el caso, requirió que el script se probara para determinar si hacía cumplir una conclusión o verificaba la consistencia. El asistente no había realizado esa prueba en sí mismo. Tercero, la historia del investigador que resulta ser el culpable es una satisfactoria, y la satisfacción no es evidencia. La calificación se mantuvo durante algunas horas porque explicaba todo de una vez.

@misc{chernets2026aiwatchbird,
  author       = {Chernets, Vadym},
  title        = {{AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7473658},
  url          = {https://doi.org/10.2139/ssrn.7473658}
}