Investigación hecha en conjunto

Colaboraciones

Algunas de estas colaboraciones empezaron con un comentario que dejamos bajo el artículo o la publicación de alguien, y otras con un mensaje que nos enviaron. Cada una tiene su propio tema y sus propios giros.

Ilustración: cuatro mesas de trabajo en un estudio soleado, una tarjeta gráfica con dos medidores, cartas de decisión junto a una isla en tormenta, una vitrina de puntos luminosos con una mosca de la fruta y una fila de bloques de apps, todas unidas por hilos de luz a un cuaderno abierto lleno de gráficos.

En medio minuto

Tres personas, tres preguntas distintas. Cada una construye algo propio, y con cada una trabajamos, a la vista de todos, en una pregunta.

Anagha Langhe comprobó si una versión más ligera de su modelo (FP8) responde peor. De 120 preguntas, solo una pasó de acertada a fallada.

Mark Goodbody probó si sus marcos de razonamiento cambian lo que deciden ChatGPT y Claude. En estas ejecuciones las distinciones principales aparecieron con ellos y sin ellos, así que todavía no se establece ningún beneficio: los modelos ya separan por sí solos «lo que podemos decir» de «lo que debemos hacer».

Mohan Bheemadolu comprime la memoria de un agente en códigos diminutos, y juntos probamos si eso hace que dos IA coincidan más a menudo en la misma respuesta errónea.

Ver en YouTube

Las historias

Tres asesores recomiendan la escuela, todos a partir del mismo mapa de hace dos años. Uno de ellos trae la inspección de hoy: la entrada sin escalones de la escuela está cerrada. Ambas IA contaron a los tres como una sola fuente, con o sin el marco de Mark delante.

¿Ya distinguen los modelos de IA una afirmación de una acción?

con Mark Goodbody · ingeniero de sistemas, Reino Unido · autor de Mechanical Ethics y TRACE

Leer la historia →

Cuando la memoria de un agente no contenía el dato, GPT y Claude dieron igualmente la misma respuesta 33 veces, y 15 de ellas eran erróneas. FlyHash, de Mohan, activa solo unos pocos bits activos por recuerdo. ¿Hace un código más comprimido más frecuente ese error compartido?

Cuando la memoria de un agente se comprime en códigos dispersos, ¿coinciden dos IA en la misma respuesta errónea?

con Mohan Bheemadolu · desarrollador de agentes de IA · coautor de FlyHash for LLM agent memory

Leer la historia →

Cómo funciona una colaboración

  1. Traes una pregunta, un sistema o unos datos: un modelo que ejecutas, una memoria para un agente, un conjunto de casos, un artículo que quieres poner a prueba.
  2. Antes de ver ningún resultado, acordamos qué ejecutar y qué contaría como respuesta.
  3. Cada parte ejecuta lo suyo. Todo lo que pueda ser abierto lo es: código, prompts, respuestas en bruto, números.
  4. La historia se publica en una página como estas, con palabras sencillas, con tu nombre y tus enlaces, y crece a medida que avanza el trabajo.

Proponer una colaboración

Cuéntanos en pocas líneas en qué trabajas, qué te gustaría averiguar y dónde está tu código o tu artículo. Lo leemos todo y respondemos personalmente.

polyhelper.ai@gmail.com