Verändert FP8 die Antworten eines Modells? Ein Kipper bei 120
mit Anagha Langhe · selbst gehostetes LLM auf einer NVIDIA L4 · DocumentSyncAI

In einer halben Minute
Anagha Langhe betreibt ihr eigenes Sprachmodell auf einer einzigen Grafikkarte, einer NVIDIA L4. Sie wollte wissen, ob das Modell schlechter antwortet, wenn man seine Zahlen in einem leichteren Format speichert. Dieses Format, FP8, senkt den Speicher für die Gewichte um etwa 43 % (von 14,3 auf 8,2 GiB) gegenüber dem üblichen bf16, ist also verlockend.
Sie hat beiden Varianten dieselben 120 Fragen gestellt: 72 richtig bei bf16, 71 bei FP8. Nur eine Antwort kippte. Und wenn beide falsch lagen, gaben sie in 42 von 48 Fällen dieselbe falsche Antwort.
Anagha hat unser offenes Vergleichsskript auf ihren eigenen Daten laufen lassen und dieselben Zahlen bekommen. Ihr Schluss: Die Fehler kommen aus dem Retrieval, also dem Schritt, in dem ihr System die Dokumente heraussucht, aus denen es antwortet, und nicht vom leichteren Format.
Die Frage
Anaghas System beantwortet Fragen zu Dokumenten. Es sucht zuerst die passenden Stellen heraus, dann antwortet das Modell anhand davon. Der Code ist offen: DocumentSyncAI.
FP8 senkte den Speicher für die Gewichte um etwa 43 % (von 14,3 auf 8,2 GiB), weil die Embedding- und Ausgabeschichten in bf16 bleiben. Auf einer einzelnen GPU ist das der ganze Sinn. Die Sorge ist genauso simpel: Macht das kleinere Format die Antworten unbemerkt schlechter?
Anagha hat es gemessen. Sie hat beiden Varianten dieselben 120 Fragen gestellt und das Ergebnis auf LinkedIn gepostet: 72 richtig in bf16, 71 in FP8, dazu ein exakter McNemar-Test mit p = 1,0 (ein Test, ob ein Unterschied mehr ist als Zufall; 1,0 heißt: kein Hinweis darauf). Im selben Beitrag nannte sie noch eine Zahl aus ihrem Setup: Die Trefferquote des Prefix-Cache, also wie oft der Server schon geleistete Arbeit wiederverwenden konnte, stieg von 12 % auf 26 %.
72 gegen 71 sieht nach „kein Unterschied“ aus. Aber bei 120 Fragen fängt so ein Test nur einen großen Einbruch. Ein Verlust von drei oder vier Punkten würde wahrscheinlich trotzdem nicht auffallen. Wichtig ist also nicht der p-Wert, sondern was mit jeder einzelnen Frage passiert ist.
Wer was gemacht hat
- Anagha hat das Setup gebaut, beide Varianten auf denselben 120 Fragen laufen lassen, die Antworten bewertet und später den Vergleich auf ihren eigenen Dateien ausgeführt.
- Wir (Vadym Chernets) haben sie gefragt, wie viele Fragen in welche Richtung gekippt sind. Dann haben wir einen kleinen
compare-Modus in ein offenes Skript eingebaut, das wir pflegen, um zu prüfen, ob Modelle übereinstimmen, und aus ihrer Zusammenfassung das Intervall und die Planungszahlen berechnet. - Als Anagha das Skript auf ihren vollständigen Daten laufen ließ, kamen dieselben Zahlen heraus, dazu eine, die wir aus der Zusammenfassung nicht sehen konnten: wie oft sich die beiden Varianten auf dieselbe Weise geirrt haben.
Wie die Zahlen aussehen
| Messgröße | Wert |
|---|---|
| Genauigkeit, bf16 | 72 / 120 |
| Genauigkeit, FP8 | 71 / 120 |
| Kipper: nur bf16 richtig / nur FP8 richtig | 1 / 0 |
| Exakter McNemar-Test | p = 1,0 |
| Differenz bf16 − FP8 | +0,8 Punkte, 95-%-Intervall etwa −2,3 bis +4,6 |
| Identische Antworten, Wort für Wort | 49 von 120 |
| Beide falsch, mit derselben falschen Antwort | 42 von 48 |
So liest man das. Ein Kipper passt dazu, dass FP8 gar nichts kostet. Beweisen tut er es aber nicht: Ein Rückgang um ein paar Punkte passt noch ins Intervall, den Bereich, in dem der echte Unterschied am wahrscheinlichsten liegt.
Bei weniger als sechs Kippern kann ein exakter McNemar-Test nie p < 0,05 erreichen, egal in welche Richtung sie fallen. Hier sagen also die Kipper und das Intervall mehr als der p-Wert.
Und um einen Rückgang von einem Punkt zu sehen, bräuchte man etwa 800 Fragen, selbst wenn alle Kipper in dieselbe Richtung gingen.
Die 42 von 48 haben uns überrascht. Wäre FP8 einfach verrauschter, würden die Fehler streuen. Stattdessen stolpern beide Varianten über dieselben Fragen und landen bei derselben falschen Antwort.
Anagha sagt es so: Das „passt zu meiner Lesart, dass die Fehler aus dem Retrieval kommen, nicht aus der Quantisierung“. Holt das System die falschen Stellen heraus, lesen beide Varianten denselben falschen Text und sagen dasselbe. Beide Varianten bekamen außerdem bei jeder Frage exakt dieselben gefundenen Textstellen, deshalb stimmen die gemeinsamen Fehler so gut überein.
Probier es an deinen eigenen Läufen aus
Hast du zwei Läufe auf denselben Fragen als JSONL? Jede Zeile braucht eine Frage-ID, die Antwort und entweder ein Feld correct oder eine Gold-Datei. Dann ist der Vergleich ein einziger Befehl. Er gehört zum offenen Repository memory-agreement-check, MIT-Lizenz, ohne Abhängigkeiten:
git clone https://github.com/vadimchernets/memory-agreement-check
cd memory-agreement-check
python -m memcheck compare bf16.jsonl fp8.jsonl --label-a bf16 --label-b FP8Eine Zeile pro Frage sieht so aus:
{"qid": "q001", "answer": "Paris", "correct": true, "category": "factual"}Er gibt die 2×2-Tabelle aus, den exakten McNemar-Test und das Intervall für die Genauigkeitsdifferenz. Außerdem zählt er identische Antworten und wie oft beide Läufe mit derselben Antwort falsch liegen, und teilt alles nach Kategorie auf, falls deine Fragen eine haben. Mit --md report.md wird der Bericht gespeichert.
Was das zeigt und was nicht
- 120 Fragen reichen, um zu sehen, dass FP8 dieses Modell nicht ruiniert hat. Sie reichen nicht, um einen Rückgang von ein oder zwei Punkten auszuschließen.
- Der Test behandelt jede Frage als unabhängig. Stammen viele aus einem Dokument oder von einer Vorlage, ist die echte Stichprobe kleiner als 120.
- „Die Fehler kommen aus dem Retrieval“ ist Anaghas Deutung ihres eigenen Systems. Die 42 von 48 stützen sie. Um es direkt zu prüfen, würde man dieselben Fragen einmal mit den richtigen und einmal mit falschen Textstellen beantworten.
Wie es weitergeht
Anagha hat zugestimmt, dass ihr FP8-gegen-bf16-Check als durchgerechnetes Beispiel ins Repository kommt, mit ihrem Namen. Wer als Nächstes zwei Varianten vergleicht, hat dann einen echten Fall als Ausgangspunkt und nicht nur einen erfundenen.
Zeitverlauf
- Anagha postet ihren FP8-Check auf LinkedIn: 71 gegen 72 von 120, McNemar p = 1,0. Wir kommentieren, dass die Zahl der Kipper mehr sagt als der p-Wert. Sie antwortet, und wir fragen, wie viele Fragen in welche Richtung gekippt sind.
-
Ihre Antwort: genau eine, bf16 richtig und FP8 falsch, keine in die andere Richtung, und 49 der 120 Antworten Wort für Wort identisch. Über Nacht bekommt das offene Skript seinen
compare-Modus, und wir schicken ihr das Intervall und die Planungszahlen, berechnet aus ihrer Zusammenfassung. - Anagha lässt es auf ihren eigenen zwei Läufen laufen: Die Zahlen stimmen exakt überein, und wenn beide Varianten falsch lagen, gaben sie in 42 von 48 Fällen dieselbe falsche Antwort. Sie stimmt dem durchgerechneten Beispiel zu.