Investigación hecha en conjunto

Colaboraciones

Algunas de estas colaboraciones empezaron con una pregunta que dejamos bajo el artículo o la publicación de alguien; una empezó con un mensaje que nos enviaron. En todas, una persona que construye sus propios modelos, memorias o herramientas de razonamiento trabaja con nosotros, en abierto, en una pregunta. Cada historia tiene su propio tema y sus propios giros.

En medio minuto

Por ahora, cuatro historias, cada una en un rincón distinto de la IA:

Anagha Langhe comprobó si ejecutar su modelo en FP8 en lugar de bf16 cambia sus respuestas. Una respuesta de cada 120 cambió, y cuando las dos versiones se equivocaron eligieron la misma respuesta errónea 42 veces de 48.
Mark Goodbody escribió casos de decisión para ver si sus marcos de razonamiento cambian lo que deciden ChatGPT y Claude. En una sola ejecución por versión, no lo hicieron: las decisiones se mantuvieron, y los modelos, en su mayoría, ya distinguían por sí solos una afirmación modificada de una acción modificada.
Mohan Bheemadolu comprime la memoria de un agente en códigos diminutos con FlyHash. Juntos montamos una prueba para ver si una memoria más pequeña hace que dos IA que se verifican entre sí coincidan más a menudo en la misma respuesta errónea.
Milena Josimov, de top10ai.com, escribió sobre Poly Duo y nosotros enlazamos sus guías. Ahora hablamos de una comparación de creadores de apps con IA hecha con ChatGPT y Claude.

Las historias

Anagha hizo las mismas 120 preguntas a una versión bf16 de su modelo y a una FP8. Solo una respuesta cambió. Cuando las dos fallaron, dieron la misma respuesta errónea 42 veces de 48.

¿Cambia FP8 las respuestas de un modelo? Un cambio entre 120

con Anagha Langhe · LLM autoalojado en una sola NVIDIA L4

Leer la historia →

Tres asesores recomiendan la escuela, todos a partir del mismo mapa de hace dos años. Uno de ellos trae la inspección de hoy: la entrada sin escalones de la escuela está cerrada. Ambas IA contaron a los tres como una sola fuente, con o sin el marco de Mark delante.

¿Ya distinguen los modelos de IA una afirmación de una acción?

con Mark Goodbody · ingeniero de sistemas, Reino Unido · autor de Mechanical Ethics y TRACE

Leer la historia →

Cuando la memoria de un agente no contenía el dato, GPT y Claude dieron igualmente la misma respuesta 33 veces, y 15 de ellas eran erróneas. FlyHash, de Mohan, reduce mucho la memoria. ¿Hace también más frecuente ese error compartido?

Cuando la memoria de un agente se comprime en códigos cortos, ¿coinciden dos IA en la misma respuesta errónea?

con Mohan Bheemadolu · desarrollador de agentes de IA, Redmond · coautor de FlyHash for LLM agent memory

Leer la historia →

top10ai.com presentó Poly Duo, enviamos a nuestros lectores a sus guías y ahora hablamos de una comparación de creadores de apps con IA hecha con ChatGPT y Claude.

¿Qué creador de apps con IA elegir? Una comparación para dos IA

con Milena Josimov · top10ai.com

Leer la historia →

Cómo funciona una colaboración

Traes una pregunta, un sistema o unos datos: un modelo que ejecutas, un recuperador, un conjunto de casos, un artículo que quieres poner a prueba.
Acordamos qué ejecutar y qué contaría como respuesta, antes de ver los resultados.
Cada parte ejecuta lo suyo. Todo lo que pueda ser abierto lo es: código, prompts, salidas en bruto, números.
La historia se publica en una página como estas, con palabras sencillas, con tu nombre y tus enlaces, y crece a medida que avanza el trabajo.

Proponer una colaboración

Cuéntanos en pocas líneas en qué trabajas, qué te gustaría averiguar y dónde está tu código o tu artículo. Lo leemos todo y respondemos personalmente.

[email protected]