Le FP8 change-t-il les réponses d'un modèle ? Un basculement sur 120
avec Anagha Langhe · LLM auto-hébergé sur un seul NVIDIA L4 · DocumentSyncAI

En trente secondes
Anagha Langhe fait tourner son propre modèle de langage sur une seule carte graphique, une NVIDIA L4. Elle voulait savoir si stocker les nombres du modèle dans un format plus léger le fait répondre moins bien. Ce format, le FP8, réduit la mémoire des poids d'environ 43 % (de 14,3 à 8,2 GiB) par rapport au bf16 habituel : forcément tentant.
Elle a posé les mêmes 120 questions aux deux versions : 72 bonnes réponses en bf16, 71 en FP8. Une seule réponse a basculé. Et quand les deux se trompaient, elles donnaient la même mauvaise réponse 42 fois sur 48.
Anagha a lancé notre script de comparaison ouvert sur ses propres données et obtenu les mêmes chiffres. Sa conclusion : les erreurs viennent de la récupération, l'étape où son système va chercher les documents dont il tire ses réponses, et pas du format plus léger.
La question
Le système d'Anagha répond à des questions sur des documents. Il commence par retrouver les bons passages, puis le modèle répond à partir de là. Le code est ouvert : DocumentSyncAI.
Le FP8 a réduit la mémoire des poids d'environ 43 % (de 14,3 à 8,2 GiB), car les couches d'embeddings et de sortie restent en bf16. Sur un seul GPU, c'est tout l'intérêt. L'inquiétude est tout aussi simple : le format plus petit dégrade-t-il discrètement les réponses ?
Anagha l'a mesuré. Elle a posé les mêmes 120 questions aux deux versions et publié le résultat sur LinkedIn : 72 bonnes réponses en bf16, 71 en FP8, et un test de McNemar exact avec p = 1,0 (un test qui dit si un écart dépasse la simple chance ; 1,0 veut dire aucun signe d'écart). Dans le même post, elle donnait un autre chiffre de son installation : le taux de succès du cache de préfixes, c'est-à-dire la fréquence à laquelle le serveur a pu réutiliser un travail déjà fait, est passé de 12 % à 26 %.
72 contre 71, ça ressemble à « aucune différence ». Mais avec 120 questions, un test de ce genre n'attrape qu'une forte baisse. Perdre trois ou quatre points ne se verrait probablement pas non plus. Ce qui compte, ce n'est donc pas la valeur p, mais ce qui est arrivé à chaque question.
Qui a fait quoi
- Anagha a monté l'installation, fait tourner les deux versions sur les mêmes 120 questions, noté les réponses, puis exécuté la comparaison sur ses propres fichiers.
- Nous (Vadym Chernets) lui avons demandé combien de questions avaient basculé dans chaque sens. Ensuite, nous avons ajouté un petit mode
compareà un script ouvert que nous tenons pour vérifier si des modèles s'accordent, et calculé l'intervalle et les chiffres de planification à partir de son résumé. - Quand Anagha a lancé ce script sur l'ensemble de ses données, elle a retrouvé les mêmes chiffres, plus un que nous ne pouvions pas voir dans le résumé : la fréquence à laquelle les deux versions se trompaient de la même façon.
À quoi ressemblent les chiffres
| Mesure | Valeur |
|---|---|
| Exactitude, bf16 | 72 / 120 |
| Exactitude, FP8 | 71 / 120 |
| Basculements : juste seulement en bf16 / juste seulement en FP8 | 1 / 0 |
| Test de McNemar exact | p = 1,0 |
| Différence bf16 − FP8 | +0,8 point, intervalle à 95 % d'environ −2,3 à +4,6 |
| Réponses identiques, mot pour mot | 49 sur 120 |
| Fausses dans les deux, avec la même mauvaise réponse | 42 sur 48 |
Comment lire ça. Un seul basculement est compatible avec un FP8 qui ne coûte rien du tout. Ça ne le prouve pas pour autant : une baisse de quelques points tient encore dans l'intervalle, la plage où se trouve très probablement le vrai écart.
Avec moins de six basculements, un test de McNemar exact ne peut pas atteindre p < 0,05, quelle que soit leur direction. Ici, les basculements et l'intervalle en disent donc plus que la valeur p.
Et pour voir une baisse d'un point, il faudrait environ 800 questions, même si tous les basculements allaient dans le même sens.
Les 42 sur 48 nous ont surpris. Si le FP8 rendait simplement le modèle plus bruité, ses erreurs seraient dispersées. Là, les deux versions butent sur les mêmes questions et tombent sur la même mauvaise réponse.
Anagha l'a dit ainsi : cela « colle avec ma lecture : les erreurs viennent de la récupération, pas de la quantification ». Quand le système remonte les mauvais passages, les deux versions lisent le même mauvais texte et disent la même chose. De plus, les deux versions ont reçu exactement les mêmes passages récupérés pour chaque question, ce qui explique que les erreurs communes concordent si bien.
À essayer sur vos propres exécutions
Vous avez deux exécutions sur les mêmes questions au format JSONL ? Chaque ligne doit contenir un identifiant de question, la réponse, et soit un champ correct, soit un fichier de référence. La comparaison tient alors en une commande. Elle fait partie du dépôt ouvert memory-agreement-check, licence MIT, sans dépendances :
git clone https://github.com/vadimchernets/memory-agreement-check
cd memory-agreement-check
python -m memcheck compare bf16.jsonl fp8.jsonl --label-a bf16 --label-b FP8Une ligne par question ressemble à ceci :
{"qid": "q001", "answer": "Paris", "correct": true, "category": "factual"}Il affiche le tableau 2×2, le test de McNemar exact et l'intervalle de la différence d'exactitude. Il compte aussi les réponses identiques et les cas où les deux exécutions se trompent avec la même réponse, et il ventile le tout par catégorie si vos questions en ont une. --md report.md enregistre le rapport.
Ce que cela montre, et ce que cela ne montre pas
- 120 questions suffisent pour voir que le FP8 n'a pas saccagé ce modèle. Elles ne suffisent pas pour promettre qu'il n'y a pas de baisse d'un ou deux points.
- Le test traite chaque question comme indépendante. Si beaucoup viennent d'un même document ou d'un même gabarit, l'échantillon réel est plus petit que 120.
- « Les erreurs viennent de la récupération » est la lecture qu'Anagha fait de son propre système. Les 42 sur 48 la confortent. Pour la vérifier de front, il faudrait répondre aux mêmes questions une fois avec les bons passages et une fois avec de mauvais.
La suite
Anagha a accepté que son contrôle FP8 contre bf16 entre dans le dépôt comme exemple concret, avec son nom dessus. La prochaine personne qui compare deux versions aura un vrai cas pour démarrer, pas juste un cas inventé.
Chronologie
- Anagha publie son contrôle FP8 sur LinkedIn : 71 contre 72 sur 120, McNemar p = 1,0. Nous commentons que le nombre de basculements en dit plus que la valeur p. Elle répond, et nous lui demandons combien de questions ont basculé dans chaque sens.
-
Sa réponse : une seule, juste en bf16 et fausse en FP8, aucune dans l'autre sens, et 49 des 120 réponses identiques mot pour mot. Dans la nuit, le script ouvert reçoit son mode
compare, et nous lui envoyons l'intervalle et les chiffres de planification calculés à partir de son résumé. - Anagha l'exécute sur ses deux exécutions : les chiffres concordent exactement, et quand les deux versions se trompaient, elles donnaient la même mauvaise réponse dans 42 cas sur 48. Elle accepte l'exemple concret.