Algunas de estas colaboraciones empezaron con un comentario que dejamos bajo el artículo o la publicación de alguien, y otras con un mensaje que nos enviaron. Cada una tiene su propio tema y sus propios giros.
En medio minuto
Tres personas, tres preguntas distintas. Cada una construye algo propio, y con cada una trabajamos, a la vista de todos, en una pregunta.
Anagha Langhe comprobó si una versión más ligera de su modelo (FP8) responde peor. De 120 preguntas, solo una pasó de acertada a fallada.
Mark Goodbody probó si sus marcos de razonamiento cambian lo que deciden ChatGPT y Claude. En estas ejecuciones las distinciones principales aparecieron con ellos y sin ellos, así que todavía no se establece ningún beneficio: los modelos ya separan por sí solos «lo que podemos decir» de «lo que debemos hacer».
Mohan Bheemadolu comprime la memoria de un agente en códigos diminutos, y juntos probamos si eso hace que dos IA coincidan más a menudo en la misma respuesta errónea.
Anagha hizo las mismas 120 preguntas a una versión bf16 de su modelo y a una FP8. Solo una respuesta cambió. Cuando las dos fallaron, dieron la misma respuesta errónea 42 veces de 48.
Tres asesores recomiendan la escuela, todos a partir del mismo mapa de hace dos años. Uno de ellos trae la inspección de hoy: la entrada sin escalones de la escuela está cerrada. Ambas IA contaron a los tres como una sola fuente, con o sin el marco de Mark delante.
Cuando la memoria de un agente no contenía el dato, GPT y Claude dieron igualmente la misma respuesta 33 veces, y 15 de ellas eran erróneas. FlyHash, de Mohan, activa solo unos pocos bits activos por recuerdo. ¿Hace un código más comprimido más frecuente ese error compartido?
Traes una pregunta, un sistema o unos datos: un modelo que ejecutas, una memoria para un agente, un conjunto de casos, un artículo que quieres poner a prueba.
Antes de ver ningún resultado, acordamos qué ejecutar y qué contaría como respuesta.
Cada parte ejecuta lo suyo. Todo lo que pueda ser abierto lo es: código, prompts, respuestas en bruto, números.
La historia se publica en una página como estas, con palabras sencillas, con tu nombre y tus enlaces, y crece a medida que avanza el trabajo.
Proponer una colaboración
Cuéntanos en pocas líneas en qué trabajas, qué te gustaría averiguar y dónde está tu código o tu artículo. Lo leemos todo y respondemos personalmente.