Чи змінює FP8 відповіді моделі? Один переворот на 120
разом із Anagha Langhe · власна LLM на одній NVIDIA L4 · DocumentSyncAI

За півхвилини
Anagha Langhe сама запускає мовну модель на одній відеокарті, NVIDIA L4. Їй хотілося знати, чи не відповідає модель гірше, якщо зберігати її числа в легшому форматі. Цей формат, FP8, скорочує пам'ять під ваги приблизно на 43% (з 14,3 до 8,2 GiB) порівняно зі звичним bf16, тож спокуса велика.
Вона поставила обом збіркам ті самі 120 питань: 72 правильні в bf16, 71 у FP8. Перевернулася лише одна відповідь. А коли помилялися обидві, вони давали ту саму хибну відповідь 42 рази з 48.
Anagha запустила наш відкритий скрипт порівняння на своїх даних і отримала ті самі цифри. Її висновок: помилки йдуть від ретривалу, тобто кроку, на якому її система шукає документи, з яких відповідає, а не від легшого формату.
Питання
Система Anagha відповідає на питання про документи. Спершу вона знаходить потрібні уривки, а потім модель відповідає за ними. Код відкритий: DocumentSyncAI.
FP8 скоротив пам'ять під ваги приблизно на 43% (з 14,3 до 8,2 GiB), бо шари ембедингів і виходу лишаються в bf16. На одному GPU заради цього все й затівається. Побоювання таке саме просте: чи не робить менший формат відповіді непомітно гіршими?
Anagha це виміряла. Вона поставила обом збіркам ті самі 120 питань і виклала результат у LinkedIn: 72 правильні в bf16, 71 у FP8 і точний тест Макнемара з p = 1,0 (тест, чи різниця більша за випадковість; 1,0 означає, що ознак різниці немає). У тому ж дописі вона поділилася ще одним числом зі свого стенда: частка влучань префіксного кешу, тобто як часто сервер міг використати вже зроблену роботу, зросла з 12% до 26%.
72 проти 71 виглядає як «різниці немає». Але зі 120 питань такий тест ловить лише велике падіння. Втрату в три-чотири пункти він, імовірно, все одно не помітив би. Тож важливе тут не p-значення, а те, що сталося з кожним питанням.
Хто що робив
- Anagha налаштувала стенд, прогнала обидві збірки на тих самих 120 питаннях, оцінила відповіді, а згодом запустила порівняння на власних файлах.
- Ми (Vadym Chernets) спитали її, скільки питань перевернулося в кожен бік. Потім додали невеликий режим
compareдо відкритого скрипта, яким ми перевіряємо, чи моделі дають однакові відповіді, і порахували інтервал та цифри для планування за її підсумком. - Коли Anagha запустила цей скрипт на повних даних, вийшли ті самі цифри плюс одна, якої з підсумку ми не бачили: як часто дві збірки помилялися однаково.
Як виглядають цифри
| Показник | Значення |
|---|---|
| Точність, bf16 | 72 / 120 |
| Точність, FP8 | 71 / 120 |
| Перевороти: лише bf16 вірно / лише FP8 вірно | 1 / 0 |
| Точний тест Макнемара | p = 1,0 |
| Різниця bf16 − FP8 | +0,8 пункта, 95% інтервал приблизно від −2,3 до +4,6 |
| Ідентичні відповіді, слово в слово | 49 зі 120 |
| Обидві хибні, з тією самою хибною відповіддю | 42 з 48 |
Як це читати. Один переворот узгоджується з тим, що FP8 не коштує нічого. Та це ще не доказ: падіння на пару пунктів усе ще вкладається в інтервал, діапазон, де, найімовірніше, лежить справжня різниця.
Коли переворотів менше шести, точний тест Макнемара не дотягне до p < 0,05, у який бік вони б не йшли. Тому тут перевороти й інтервал кажуть більше, ніж p-значення.
А щоб побачити падіння на один пункт, потрібно близько 800 питань, навіть якщо всі перевороти йдуть в один бік.
42 з 48 нас здивувало. Якби FP8 просто робив модель шумнішою, її помилки розсипалися б. Натомість обидві збірки спотикаються на тих самих питаннях і впираються в ту саму хибну відповідь.
Anagha сказала так: це «fits my read that the errors come from retrieval, not quantization». Коли система підтягує не ті уривки, обидві збірки читають той самий не той текст і кажуть те саме. Крім того, обидві збірки отримували рівно ті самі знайдені уривки на кожне питання, тому спільні помилки так збігаються.
Спробуйте на своїх прогонах
Є два прогони на тих самих питаннях у JSONL? У кожному рядку мають бути ідентифікатор питання, відповідь і або поле correct, або файл з еталоном. Тоді порівняння — одна команда. Воно входить до відкритого репозиторію memory-agreement-check, ліцензія MIT, без залежностей:
git clone https://github.com/vadimchernets/memory-agreement-check
cd memory-agreement-check
python -m memcheck compare bf16.jsonl fp8.jsonl --label-a bf16 --label-b FP8Один рядок на питання виглядає так:
{"qid": "q001", "answer": "Paris", "correct": true, "category": "factual"}Скрипт друкує таблицю 2×2, точний тест Макнемара та інтервал для різниці точності. Ще він рахує ідентичні відповіді й те, як часто обидва прогони помиляються з однаковою відповіддю, і розбиває все за категоріями, якщо у ваших питань вони є. --md report.md зберігає звіт.
Що це показує, а що ні
- 120 питань достатньо, щоб побачити: FP8 не зруйнував цю модель. Цього замало, щоб пообіцяти, що падіння на один-два пункти немає.
- Тест вважає кожне питання незалежним. Якщо багато з них із одного документа чи шаблону, реальна вибірка менша за 120.
- «Помилки йдуть від ретривалу» — це Anagha прочитала так власну систему. 42 з 48 це підтримують. Щоб перевірити напряму, довелося б відповісти на ті самі питання вдруге: один раз із правильними уривками, другий із неправильними.
Що далі
Anagha погодилася, щоб її перевірка FP8 проти bf16 потрапила до репозиторію як розібраний приклад, з її ім'ям. Наступна людина, яка порівнюватиме дві збірки, матиме реальний випадок для старту, а не вигаданий.
Хронологія
- Anagha публікує у LinkedIn свою перевірку FP8: 71 проти 72 зі 120, McNemar p = 1,0. Ми коментуємо, що кількість переворотів каже більше за p-значення. Вона відповідає, а ми питаємо, скільки питань перевернулося в кожен бік.
-
Її відповідь: лише одне, bf16 вірно і FP8 хибно, жодного в інший бік, і 49 зі 120 відповідей слово в слово однакові. За ніч відкритий скрипт отримує режим
compare, і ми надсилаємо їй інтервал та цифри для планування, пораховані за її підсумком. - Anagha запускає його на власних двох прогонах: цифри збігаються точно, а коли помилялися обидві збірки, вони давали ту саму хибну відповідь у 42 з 48. Вона погоджується на розібраний приклад.