¿Cambia FP8 las respuestas de un modelo? Un cambio entre 120
con Anagha Langhe · LLM autoalojado en una sola NVIDIA L4 · DocumentSyncAI

En medio minuto
Anagha Langhe ejecuta su propio modelo de lenguaje en una sola tarjeta gráfica, una NVIDIA L4. Quería saber si guardar los números del modelo en un formato más ligero hace que responda peor. Ese formato, FP8, reduce la memoria de los pesos en torno a un 43 % (de 14,3 a 8,2 GiB) frente al bf16 de siempre, así que tienta.
Hizo las mismas 120 preguntas a las dos versiones: 72 aciertos con bf16 y 71 con FP8. Solo cambió una respuesta. Y cuando las dos fallaron, dieron la misma respuesta errónea 42 veces de 48.
Anagha pasó nuestro script abierto de comparación por sus propios datos y obtuvo las mismas cifras. Su conclusión: los errores vienen de la recuperación, el paso en que su sistema busca los documentos con los que responde, y no del formato más ligero.
La pregunta
El sistema de Anagha responde preguntas sobre documentos. Primero busca los pasajes adecuados y luego el modelo responde a partir de ellos. El código es abierto: DocumentSyncAI.
FP8 redujo la memoria de los pesos en torno a un 43 % (de 14,3 a 8,2 GiB), porque las capas de embeddings y de salida se quedan en bf16. En una sola GPU, ese es todo el sentido. La duda es igual de simple: ¿hace el formato más pequeño, sin avisar, que las respuestas empeoren?
Anagha lo midió. Hizo las mismas 120 preguntas a las dos versiones y publicó el resultado en LinkedIn: 72 aciertos en bf16, 71 en FP8, y una prueba exacta de McNemar con p = 1.0 (una prueba que dice si una diferencia es algo más que casualidad; 1.0 significa que no hay señal de que lo sea). En la misma publicación compartió otra cifra de su configuración: la tasa de aciertos de la caché de prefijos, es decir, cuántas veces el servidor pudo reutilizar trabajo ya hecho, pasó del 12% al 26%.
72 contra 71 parece "sin diferencia". Pero con 120 preguntas, una prueba así solo detecta una caída grande. Perder tres o cuatro puntos probablemente tampoco se notaría. Así que lo que importa no es el valor p, sino lo que le pasó a cada pregunta.
Quién hizo qué
- Anagha montó la configuración, ejecutó las dos versiones sobre las mismas 120 preguntas, corrigió las respuestas y más tarde ejecutó la comparación sobre sus propios archivos.
- Nosotros (Vadym Chernets) le preguntamos cuántas preguntas habían cambiado en cada sentido, Después añadimos un pequeño modo
comparea un script abierto que mantenemos para comprobar si los modelos coinciden, y calculamos el intervalo y las cifras de planificación a partir de su resumen. - Cuando Anagha pasó ese script por todos sus datos, salieron las mismas cifras, y una más que no podíamos ver en el resumen: con qué frecuencia las dos versiones se equivocaron de la misma manera.
Cómo se ven los números
| Medida | Valor |
|---|---|
| Precisión, bf16 | 72 / 120 |
| Precisión, FP8 | 71 / 120 |
| Cambios: solo acierta bf16 / solo acierta FP8 | 1 / 0 |
| Prueba exacta de McNemar | p = 1.0 |
| Diferencia bf16 − FP8 | +0.8 puntos, intervalo del 95% de aproximadamente −2.3 a +4.6 |
| Respuestas idénticas, palabra por palabra | 49 de 120 |
| Ambas fallan, con la misma respuesta errónea | 42 de 48 |
Cómo leerlo. Un solo cambio encaja con que FP8 no cueste nada. Pero no lo demuestra: una caída de un par de puntos todavía cabe dentro del intervalo, el rango donde lo más probable es que esté la diferencia real.
Con menos de seis cambios, una prueba exacta de McNemar no puede llegar a p < 0.05, caigan como caigan. Por eso aquí dicen más los cambios y el intervalo que el valor p.
Y para ver una caída de un punto harían falta unas 800 preguntas, aunque todos los cambios fueran en el mismo sentido.
Lo de 42 de 48 nos sorprendió. Si FP8 simplemente volviera más ruidoso al modelo, sus errores estarían dispersos. En cambio, las dos versiones tropiezan en las mismas preguntas y caen en la misma respuesta errónea.
Anagha lo resumió así: "encaja con mi lectura de que los errores vienen de la recuperación, no de la cuantización". Cuando el sistema trae los pasajes equivocados, las dos versiones leen el mismo texto equivocado y dicen lo mismo. Además, las dos versiones recibieron exactamente los mismos pasajes recuperados para cada pregunta, por eso los errores compartidos coinciden tan bien.
Pruébalo con tus propias ejecuciones
¿Tienes dos ejecuciones sobre las mismas preguntas en JSONL? Cada línea necesita un identificador de pregunta, la respuesta, y un campo correct o un archivo con las respuestas de referencia. Entonces la comparación es un solo comando. Forma parte del repositorio abierto memory-agreement-check, licencia MIT, sin dependencias:
git clone https://github.com/vadimchernets/memory-agreement-check
cd memory-agreement-check
python -m memcheck compare bf16.jsonl fp8.jsonl --label-a bf16 --label-b FP8Una línea por pregunta tiene este aspecto:
{"qid": "q001", "answer": "Paris", "correct": true, "category": "factual"}Imprime la tabla de 2×2, la prueba exacta de McNemar y el intervalo de la diferencia de precisión. También cuenta las respuestas idénticas y cuántas veces las dos ejecuciones fallan con la misma respuesta, y lo desglosa todo por categoría si tus preguntas la tienen. --md report.md guarda el informe.
Qué muestra esto y qué no
- 120 preguntas bastan para ver que FP8 no arruinó este modelo. No bastan para prometer que no hay una caída de uno o dos puntos.
- La prueba trata cada pregunta como independiente. Si muchas provienen de un mismo documento o de una misma plantilla, la muestra real es menor que 120.
- "Los errores vienen de la recuperación" es la lectura de Anagha sobre su propio sistema. Los 42 de 48 la respaldan. Para comprobarlo de frente habría que responder las mismas preguntas una vez con los pasajes correctos y otra con pasajes equivocados.
Lo que viene
Anagha aceptó que su comparación FP8 contra bf16 pase al repositorio como ejemplo trabajado, con su nombre. Quien compare dos versiones la próxima vez tendrá un caso real del que partir, no solo uno inventado.
Cronología
- Anagha publica su comprobación de FP8 en LinkedIn: 71 contra 72 de 120, McNemar p = 1.0. Comentamos que los recuentos de cambios dicen más que el valor p. Ella responde, y le preguntamos cuántas preguntas cambiaron en cada sentido.
-
Su respuesta: solo una, bf16 acierta y FP8 falla, ninguna en el otro sentido, y 49 de las 120 respuestas idénticas palabra por palabra. Durante la noche el script abierto gana su modo
compare, y le enviamos el intervalo y las cifras de planificación calculados a partir de su resumen. - Anagha lo ejecuta sobre sus dos ejecuciones: las cifras coinciden exactamente, y cuando las dos versiones fallaron dieron la misma respuesta errónea en 42 de 48. Acepta lo del ejemplo trabajado.