Коллаборации

Меняет ли FP8 ответы модели? Один сдвиг на 120

вместе с Anagha Langhe · собственная LLM на одной NVIDIA L4 · DocumentSyncAI

Иллюстрация: одна воронка со стеклянными шариками питает большую машину и её уменьшенного близнеца, обе работают от одной видеокарты; они раскладывают шарики в почти одинаковые лотки, а серые, неверные, попадают в одни и те же ячейки.

За полминуты

Anagha Langhe запускает свою языковую модель на одной видеокарте, NVIDIA L4. Ей хотелось знать: если хранить числа модели в более лёгком формате, станет ли она хуже отвечать? Этот формат, FP8, сокращает память под веса примерно на 43% (с 14,3 до 8,2 GiB) по сравнению с обычным bf16, так что соблазн понятен.

Она задала обеим сборкам одни и те же 120 вопросов: у bf16 72 верных ответа, у FP8 71. Только один ответ из верного стал неверным. А когда ошибались обе, они давали один и тот же неверный ответ 42 раза из 48.

Anagha прогнала наш открытый скрипт сравнения на своих данных и получила те же цифры. Её вывод: ошибки идут от поиска, то есть от шага, на котором система достаёт документы, по которым отвечает, а не от лёгкого формата.

Смотреть на YouTube

Вопрос

Система Anagha отвечает на вопросы по документам. Сначала она находит нужные куски текста, потом модель отвечает по ним. Код открыт: DocumentSyncAI.

FP8 сократил память под веса примерно на 43% (с 14,3 до 8,2 GiB), потому что слои эмбеддингов и выхода остаются в bf16. На одной видеокарте ради этого всё и затевается. Опасение такое же простое: не делает ли формат поменьше ответы тихо хуже?

Anagha это измерила. Она задала одни и те же 120 вопросов обеим сборкам и выложила результат в LinkedIn: 72 верных в bf16, 71 в FP8, точный критерий Макнемара, p = 1,0 (он проверяет, больше ли разница, чем случайность; 1,0 значит, что следов разницы нет). В том же посте она привела ещё одну цифру со своей установки: префиксный кэш, то есть как часто сервер мог переиспользовать уже сделанную работу, стал срабатывать не в 12% случаев, а в 26%.

72 против 71 выглядит как «разницы нет». Но на 120 вопросах такой критерий ловит только большое падение. Потерю в три-четыре пункта он, скорее всего, всё равно бы не заметил. Поэтому важен не p-value, а то, что случилось с каждым вопросом.

Кто что делал

  • Anagha собрала установку, прогнала обе сборки на одних и тех же 120 вопросах, проверила ответы, а позже запустила сравнение на собственных файлах.
  • Мы (Vadym Chernets) спросили, сколько вопросов перевернулось в каждую сторону. Потом добавили небольшой режим compare в открытый скрипт, который держим для проверки, согласуются ли модели, и по её сводке посчитали интервал и цифры для планирования.
  • Когда Anagha прогнала этот скрипт на своих полных данных, у неё вышли те же числа и ещё одно, которое по сводке мы увидеть не могли: как часто две сборки ошибались одинаково.

Как выглядят цифры

120 вопросов одни и те же bf16 72 верных FP8 71 верный 71обеверно 1только bf16верно 0только FP8верно 48обеневерно Из 48 общих ошибок: 42 один неверный ответ · 6 разных
Каждый из 120 вопросов попадает в одну из четырёх клеток. Лишь одна лежит вне диагонали. Большинство общих ошибок — один и тот же ответ.
1 из 120вопросов перевернулся между сборками, в пользу bf16
49ответов совпали слово в слово
42 из 48общих ошибок были одним и тем же неверным ответом
Показатель Значение
Точность, bf16 72 / 120
Точность, FP8 71 / 120
Сдвиги: верно только bf16 / верно только FP8 1 / 0
Точный критерий Макнемара p = 1,0
Разница bf16 − FP8 +0,8 пункта, 95-процентный интервал примерно от −2,3 до +4,6
Одинаковые ответы, слово в слово 49 из 120
Обе неверны, ответ один и тот же 42 из 48

Как это читать. Один сдвиг вполне согласуется с тем, что FP8 ничего не стоит. Но это ещё не доказательство: падение на пару пунктов в интервал, то есть в диапазон, где скорее всего лежит настоящая разница, всё равно укладывается.

Если сдвигов меньше шести, точный критерий Макнемара не даст p < 0,05, в какую бы сторону они ни шли. Так что здесь сами сдвиги и интервал говорят больше, чем p-value.

А чтобы заметить падение на один пункт, нужно примерно 800 вопросов, и то если все сдвиги идут в одну сторону.

Эти 42 из 48 нас удивили. Будь FP8 просто шумнее, ошибки разлетелись бы кто куда. Вместо этого обе сборки спотыкаются на одних и тех же вопросах и выдают один и тот же неверный ответ.

По словам Anagha, это «совпадает с моим прочтением, что ошибки идут от поиска, а не от квантизации». Когда система достаёт не те куски текста, обе сборки читают один и тот же неверный текст и говорят одно и то же. Кроме того, обе сборки получали ровно одни и те же найденные фрагменты на каждый вопрос, поэтому общие ошибки так совпадают.

Попробуйте на своих прогонах

Есть два прогона на одних и тех же вопросах в формате JSONL? В каждой строке нужен идентификатор вопроса, ответ и либо поле correct, либо файл с эталоном. Тогда сравнение делается одной командой. Оно входит в открытый репозиторий memory-agreement-check, лицензия MIT, без зависимостей:

git clone https://github.com/vadimchernets/memory-agreement-check
cd memory-agreement-check
python -m memcheck compare bf16.jsonl fp8.jsonl --label-a bf16 --label-b FP8

Одна строка на вопрос выглядит так:

{"qid": "q001", "answer": "Paris", "correct": true, "category": "factual"}

Он выводит таблицу 2×2, точный критерий Макнемара и интервал для разницы точности. Ещё считает одинаковые ответы и как часто оба прогона ошибаются одним и тем же ответом, а если у вопросов есть категории, разбивает всё и по ним. Флаг --md report.md сохраняет отчёт.

Что это показывает, а что нет

  • 120 вопросов хватает, чтобы увидеть: FP8 не угробил эту модель. Но не хватает, чтобы ручаться, что нет падения на пункт-два.
  • Критерий считает каждый вопрос независимым. Если многие взяты из одного документа или по одному шаблону, настоящая выборка меньше 120.
  • «Ошибки идут от поиска» — это прочтение Anagha её собственной системы. 42 из 48 его подкрепляют. Чтобы проверить прямо, нужно ответить на те же вопросы один раз с нужными кусками текста и один раз с неверными.

Что дальше

Anagha согласилась, чтобы её проверку FP8 и bf16 добавили в репозиторий как разобранный пример, с её именем. У следующего, кто сравнивает две сборки, будет настоящий случай для старта, а не выдуманный.

Хронология

  1. Anagha публикует в LinkedIn свою проверку FP8: 71 против 72 из 120, критерий Макнемара p = 1,0. Мы комментируем, что число сдвигов говорит больше, чем p-value. Она отвечает, и мы спрашиваем, сколько вопросов перевернулось в каждую сторону.
  2. Её ответ: всего один, bf16 верно, а FP8 неверно, в обратную сторону ни одного, и 49 из 120 ответов совпали слово в слово. За ночь в открытом скрипте появляется режим compare, и мы отправляем ей интервал и цифры для планирования, посчитанные по её сводке.
  3. Anagha запускает его на своих двух прогонах: цифры сходятся точно, а когда ошибались обе сборки, неверный ответ у них совпал в 42 случаях из 48. Она соглашается на разобранный пример.

← Все совместные работы · Предложить коллаборацию