Колаборації

Чи змінює FP8 відповіді моделі? Один переворот на 120

разом із Anagha Langhe · власна LLM на одній NVIDIA L4 · DocumentSyncAI

Ілюстрація: одна лійка зі скляними кульками живить велику машину та її меншого близнюка, обидві працюють від однієї відеокарти; вони розкладають кульки в майже однакові лотки, а сірі, хибні, потрапляють в ті самі комірки.

За півхвилини

Anagha Langhe сама запускає мовну модель на одній відеокарті, NVIDIA L4. Їй хотілося знати, чи не відповідає модель гірше, якщо зберігати її числа в легшому форматі. Цей формат, FP8, скорочує пам'ять під ваги приблизно на 43% (з 14,3 до 8,2 GiB) порівняно зі звичним bf16, тож спокуса велика.

Вона поставила обом збіркам ті самі 120 питань: 72 правильні в bf16, 71 у FP8. Перевернулася лише одна відповідь. А коли помилялися обидві, вони давали ту саму хибну відповідь 42 рази з 48.

Anagha запустила наш відкритий скрипт порівняння на своїх даних і отримала ті самі цифри. Її висновок: помилки йдуть від ретривалу, тобто кроку, на якому її система шукає документи, з яких відповідає, а не від легшого формату.

Дивитися на YouTube

Питання

Система Anagha відповідає на питання про документи. Спершу вона знаходить потрібні уривки, а потім модель відповідає за ними. Код відкритий: DocumentSyncAI.

FP8 скоротив пам'ять під ваги приблизно на 43% (з 14,3 до 8,2 GiB), бо шари ембедингів і виходу лишаються в bf16. На одному GPU заради цього все й затівається. Побоювання таке саме просте: чи не робить менший формат відповіді непомітно гіршими?

Anagha це виміряла. Вона поставила обом збіркам ті самі 120 питань і виклала результат у LinkedIn: 72 правильні в bf16, 71 у FP8 і точний тест Макнемара з p = 1,0 (тест, чи різниця більша за випадковість; 1,0 означає, що ознак різниці немає). У тому ж дописі вона поділилася ще одним числом зі свого стенда: частка влучань префіксного кешу, тобто як часто сервер міг використати вже зроблену роботу, зросла з 12% до 26%.

72 проти 71 виглядає як «різниці немає». Але зі 120 питань такий тест ловить лише велике падіння. Втрату в три-чотири пункти він, імовірно, все одно не помітив би. Тож важливе тут не p-значення, а те, що сталося з кожним питанням.

Хто що робив

  • Anagha налаштувала стенд, прогнала обидві збірки на тих самих 120 питаннях, оцінила відповіді, а згодом запустила порівняння на власних файлах.
  • Ми (Vadym Chernets) спитали її, скільки питань перевернулося в кожен бік. Потім додали невеликий режим compare до відкритого скрипта, яким ми перевіряємо, чи моделі дають однакові відповіді, і порахували інтервал та цифри для планування за її підсумком.
  • Коли Anagha запустила цей скрипт на повних даних, вийшли ті самі цифри плюс одна, якої з підсумку ми не бачили: як часто дві збірки помилялися однаково.

Як виглядають цифри

120 питань однакові для обох bf16 72 правильні FP8 71 правильна 71обидвівірно 1лише bf16вірно 0лише FP8вірно 48обидвіхибно З 48, де помилилися обидві: 42 однакова хибна відповідь · 6 різних
Кожне зі 120 питань потрапляє в одну з чотирьох клітинок. Лише одна лежить поза діагоналлю. Більшість спільних помилок — це та сама відповідь.
1 зі 120питань перевернулося між двома збірками, на користь bf16
49відповідей збіглися слово в слово
42 з 48спільних помилок були тією самою хибною відповіддю
Показник Значення
Точність, bf16 72 / 120
Точність, FP8 71 / 120
Перевороти: лише bf16 вірно / лише FP8 вірно 1 / 0
Точний тест Макнемара p = 1,0
Різниця bf16 − FP8 +0,8 пункта, 95% інтервал приблизно від −2,3 до +4,6
Ідентичні відповіді, слово в слово 49 зі 120
Обидві хибні, з тією самою хибною відповіддю 42 з 48

Як це читати. Один переворот узгоджується з тим, що FP8 не коштує нічого. Та це ще не доказ: падіння на пару пунктів усе ще вкладається в інтервал, діапазон, де, найімовірніше, лежить справжня різниця.

Коли переворотів менше шести, точний тест Макнемара не дотягне до p < 0,05, у який бік вони б не йшли. Тому тут перевороти й інтервал кажуть більше, ніж p-значення.

А щоб побачити падіння на один пункт, потрібно близько 800 питань, навіть якщо всі перевороти йдуть в один бік.

42 з 48 нас здивувало. Якби FP8 просто робив модель шумнішою, її помилки розсипалися б. Натомість обидві збірки спотикаються на тих самих питаннях і впираються в ту саму хибну відповідь.

Anagha сказала так: це «fits my read that the errors come from retrieval, not quantization». Коли система підтягує не ті уривки, обидві збірки читають той самий не той текст і кажуть те саме. Крім того, обидві збірки отримували рівно ті самі знайдені уривки на кожне питання, тому спільні помилки так збігаються.

Спробуйте на своїх прогонах

Є два прогони на тих самих питаннях у JSONL? У кожному рядку мають бути ідентифікатор питання, відповідь і або поле correct, або файл з еталоном. Тоді порівняння — одна команда. Воно входить до відкритого репозиторію memory-agreement-check, ліцензія MIT, без залежностей:

git clone https://github.com/vadimchernets/memory-agreement-check
cd memory-agreement-check
python -m memcheck compare bf16.jsonl fp8.jsonl --label-a bf16 --label-b FP8

Один рядок на питання виглядає так:

{"qid": "q001", "answer": "Paris", "correct": true, "category": "factual"}

Скрипт друкує таблицю 2×2, точний тест Макнемара та інтервал для різниці точності. Ще він рахує ідентичні відповіді й те, як часто обидва прогони помиляються з однаковою відповіддю, і розбиває все за категоріями, якщо у ваших питань вони є. --md report.md зберігає звіт.

Що це показує, а що ні

  • 120 питань достатньо, щоб побачити: FP8 не зруйнував цю модель. Цього замало, щоб пообіцяти, що падіння на один-два пункти немає.
  • Тест вважає кожне питання незалежним. Якщо багато з них із одного документа чи шаблону, реальна вибірка менша за 120.
  • «Помилки йдуть від ретривалу» — це Anagha прочитала так власну систему. 42 з 48 це підтримують. Щоб перевірити напряму, довелося б відповісти на ті самі питання вдруге: один раз із правильними уривками, другий із неправильними.

Що далі

Anagha погодилася, щоб її перевірка FP8 проти bf16 потрапила до репозиторію як розібраний приклад, з її ім'ям. Наступна людина, яка порівнюватиме дві збірки, матиме реальний випадок для старту, а не вигаданий.

Хронологія

  1. Anagha публікує у LinkedIn свою перевірку FP8: 71 проти 72 зі 120, McNemar p = 1,0. Ми коментуємо, що кількість переворотів каже більше за p-значення. Вона відповідає, а ми питаємо, скільки питань перевернулося в кожен бік.
  2. Її відповідь: лише одне, bf16 вірно і FP8 хибно, жодного в інший бік, і 49 зі 120 відповідей слово в слово однакові. За ніч відкритий скрипт отримує режим compare, і ми надсилаємо їй інтервал та цифри для планування, пораховані за її підсумком.
  3. Anagha запускає його на власних двох прогонах: цифри збігаються точно, а коли помилялися обидві збірки, вони давали ту саму хибну відповідь у 42 з 48. Вона погоджується на розібраний приклад.

← Усі співпраці · Запропонувати колаборацію