Меняет ли FP8 ответы модели? Один сдвиг на 120
вместе с Anagha Langhe · собственная LLM на одной NVIDIA L4 · DocumentSyncAI

За полминуты
Anagha Langhe запускает свою языковую модель на одной видеокарте, NVIDIA L4. Ей хотелось знать: если хранить числа модели в более лёгком формате, станет ли она хуже отвечать? Этот формат, FP8, сокращает память под веса примерно на 43% (с 14,3 до 8,2 GiB) по сравнению с обычным bf16, так что соблазн понятен.
Она задала обеим сборкам одни и те же 120 вопросов: у bf16 72 верных ответа, у FP8 71. Только один ответ из верного стал неверным. А когда ошибались обе, они давали один и тот же неверный ответ 42 раза из 48.
Anagha прогнала наш открытый скрипт сравнения на своих данных и получила те же цифры. Её вывод: ошибки идут от поиска, то есть от шага, на котором система достаёт документы, по которым отвечает, а не от лёгкого формата.
Вопрос
Система Anagha отвечает на вопросы по документам. Сначала она находит нужные куски текста, потом модель отвечает по ним. Код открыт: DocumentSyncAI.
FP8 сократил память под веса примерно на 43% (с 14,3 до 8,2 GiB), потому что слои эмбеддингов и выхода остаются в bf16. На одной видеокарте ради этого всё и затевается. Опасение такое же простое: не делает ли формат поменьше ответы тихо хуже?
Anagha это измерила. Она задала одни и те же 120 вопросов обеим сборкам и выложила результат в LinkedIn: 72 верных в bf16, 71 в FP8, точный критерий Макнемара, p = 1,0 (он проверяет, больше ли разница, чем случайность; 1,0 значит, что следов разницы нет). В том же посте она привела ещё одну цифру со своей установки: префиксный кэш, то есть как часто сервер мог переиспользовать уже сделанную работу, стал срабатывать не в 12% случаев, а в 26%.
72 против 71 выглядит как «разницы нет». Но на 120 вопросах такой критерий ловит только большое падение. Потерю в три-четыре пункта он, скорее всего, всё равно бы не заметил. Поэтому важен не p-value, а то, что случилось с каждым вопросом.
Кто что делал
- Anagha собрала установку, прогнала обе сборки на одних и тех же 120 вопросах, проверила ответы, а позже запустила сравнение на собственных файлах.
- Мы (Vadym Chernets) спросили, сколько вопросов перевернулось в каждую сторону. Потом добавили небольшой режим
compareв открытый скрипт, который держим для проверки, согласуются ли модели, и по её сводке посчитали интервал и цифры для планирования. - Когда Anagha прогнала этот скрипт на своих полных данных, у неё вышли те же числа и ещё одно, которое по сводке мы увидеть не могли: как часто две сборки ошибались одинаково.
Как выглядят цифры
| Показатель | Значение |
|---|---|
| Точность, bf16 | 72 / 120 |
| Точность, FP8 | 71 / 120 |
| Сдвиги: верно только bf16 / верно только FP8 | 1 / 0 |
| Точный критерий Макнемара | p = 1,0 |
| Разница bf16 − FP8 | +0,8 пункта, 95-процентный интервал примерно от −2,3 до +4,6 |
| Одинаковые ответы, слово в слово | 49 из 120 |
| Обе неверны, ответ один и тот же | 42 из 48 |
Как это читать. Один сдвиг вполне согласуется с тем, что FP8 ничего не стоит. Но это ещё не доказательство: падение на пару пунктов в интервал, то есть в диапазон, где скорее всего лежит настоящая разница, всё равно укладывается.
Если сдвигов меньше шести, точный критерий Макнемара не даст p < 0,05, в какую бы сторону они ни шли. Так что здесь сами сдвиги и интервал говорят больше, чем p-value.
А чтобы заметить падение на один пункт, нужно примерно 800 вопросов, и то если все сдвиги идут в одну сторону.
Эти 42 из 48 нас удивили. Будь FP8 просто шумнее, ошибки разлетелись бы кто куда. Вместо этого обе сборки спотыкаются на одних и тех же вопросах и выдают один и тот же неверный ответ.
По словам Anagha, это «совпадает с моим прочтением, что ошибки идут от поиска, а не от квантизации». Когда система достаёт не те куски текста, обе сборки читают один и тот же неверный текст и говорят одно и то же. Кроме того, обе сборки получали ровно одни и те же найденные фрагменты на каждый вопрос, поэтому общие ошибки так совпадают.
Попробуйте на своих прогонах
Есть два прогона на одних и тех же вопросах в формате JSONL? В каждой строке нужен идентификатор вопроса, ответ и либо поле correct, либо файл с эталоном. Тогда сравнение делается одной командой. Оно входит в открытый репозиторий memory-agreement-check, лицензия MIT, без зависимостей:
git clone https://github.com/vadimchernets/memory-agreement-check
cd memory-agreement-check
python -m memcheck compare bf16.jsonl fp8.jsonl --label-a bf16 --label-b FP8Одна строка на вопрос выглядит так:
{"qid": "q001", "answer": "Paris", "correct": true, "category": "factual"}Он выводит таблицу 2×2, точный критерий Макнемара и интервал для разницы точности. Ещё считает одинаковые ответы и как часто оба прогона ошибаются одним и тем же ответом, а если у вопросов есть категории, разбивает всё и по ним. Флаг --md report.md сохраняет отчёт.
Что это показывает, а что нет
- 120 вопросов хватает, чтобы увидеть: FP8 не угробил эту модель. Но не хватает, чтобы ручаться, что нет падения на пункт-два.
- Критерий считает каждый вопрос независимым. Если многие взяты из одного документа или по одному шаблону, настоящая выборка меньше 120.
- «Ошибки идут от поиска» — это прочтение Anagha её собственной системы. 42 из 48 его подкрепляют. Чтобы проверить прямо, нужно ответить на те же вопросы один раз с нужными кусками текста и один раз с неверными.
Что дальше
Anagha согласилась, чтобы её проверку FP8 и bf16 добавили в репозиторий как разобранный пример, с её именем. У следующего, кто сравнивает две сборки, будет настоящий случай для старта, а не выдуманный.
Хронология
- Anagha публикует в LinkedIn свою проверку FP8: 71 против 72 из 120, критерий Макнемара p = 1,0. Мы комментируем, что число сдвигов говорит больше, чем p-value. Она отвечает, и мы спрашиваем, сколько вопросов перевернулось в каждую сторону.
-
Её ответ: всего один, bf16 верно, а FP8 неверно, в обратную сторону ни одного, и 49 из 120 ответов совпали слово в слово. За ночь в открытом скрипте появляется режим
compare, и мы отправляем ей интервал и цифры для планирования, посчитанные по её сводке. - Anagha запускает его на своих двух прогонах: цифры сходятся точно, а когда ошибались обе сборки, неверный ответ у них совпал в 42 случаях из 48. Она соглашается на разобранный пример.