FP8 会改变模型的答案吗?120 道题只翻转了 1 道
与 Anagha Langhe · 在一块 NVIDIA L4 上自托管大语言模型 · DocumentSyncAI

半分钟读完
Anagha Langhe 自己在一块显卡(NVIDIA L4)上跑一个语言模型。她想知道,把模型的数字存成更轻的格式,回答会不会变差。这种格式叫 FP8,比常用的 bf16 少用约 43% 的权重内存(从 14.3 降到 8.2 GiB),所以很诱人。
她把同样的 120 道题分别问了两个版本:bf16 答对 72 道,FP8 答对 71 道。只有 1 个答案翻转。而且两个版本都答错的时候,48 次里有 42 次给出的是同一个错误答案。
Anagha 用我们公开的比较脚本跑了自己的数据,得到的数字一模一样。她的结论是:错误出在检索上,也就是她的系统去查文档、再从文档里作答的那一步,而不是出在这个更轻的格式上。
问题
Anagha 的系统是回答文档相关问题的:先查出相关段落,模型再根据这些段落作答。代码是公开的:DocumentSyncAI。
FP8 把权重内存减少了约 43%(从 14.3 降到 8.2 GiB),因为嵌入层和输出层仍保持 bf16。在单块 GPU 上,这就是它的全部意义。要担心的也同样简单:这种更小的格式,会不会悄悄让答案变差?
Anagha 实测了一下。她把同样的 120 道题分别问了两个版本,并把结果发在了 LinkedIn 上:bf16 答对 72 道,FP8 答对 71 道,精确 McNemar 检验 p = 1.0(这个检验是看差别是不是比运气更大;1.0 就是看不出有差别)。同一篇帖子里她还分享了她环境里的另一个数字:前缀缓存命中率,也就是服务器能直接复用已做过的工作的频率,从 12% 升到了 26%。
72 对 71,看上去像"没有差别"。但只有 120 道题,这样的检验只抓得住大幅下降。要是掉了三四个百分点,大概也还是看不出来。所以关键不在 p 值,而在每一道题实际发生了什么。
谁做了什么
- Anagha 搭建了环境,在同样的 120 道题上跑了两个版本,给答案打分,之后又在自己的文件上运行了比较。
- 我们(Vadym Chernets)问她两个方向各有多少题翻转。然后我们给手头一个检查模型是否一致的公开脚本加了个小小的
compare模式,并根据她的汇总数据算出了区间和规划用的数字。 - Anagha 在完整数据上跑了这个脚本,得到了同样的数字,外加一个我们从汇总里看不到的:两个版本以同样的方式答错的频率。
数字是什么样子
| 指标 | 数值 |
|---|---|
| 准确率,bf16 | 72 / 120 |
| 准确率,FP8 | 71 / 120 |
| 翻转:仅 bf16 对 / 仅 FP8 对 | 1 / 0 |
| 精确 McNemar 检验 | p = 1.0 |
| 差值 bf16 − FP8 | +0.8 个百分点,95% 区间约为 −2.3 到 +4.6 |
| 一字不差的答案 | 120 个里的 49 个 |
| 两者都错且错误答案相同 | 48 个里的 42 个 |
怎么解读:只翻转了 1 道,完全说得通 FP8 没有任何代价。但这不能证明它没有代价:下降一两个百分点,仍然落在区间里。区间就是真实差别最可能在的范围。
翻转少于六个的时候,不管方向如何,精确 McNemar 检验都不可能达到 p < 0.05。所以这里,翻转数和区间比 p 值更能说明问题。
另外,要看出一个百分点的下降,大约需要 800 道题,哪怕所有翻转都朝同一个方向。
48 里的 42 让我们挺意外。如果 FP8 只是让模型更"毛躁",错误应该是散的。可实际上,两个版本栽在同样的题上,还落在同一个错误答案上。
Anagha 是这么说的:这"符合我的判断:错误来自检索,而不是量化"。系统查错了段落,两个版本读的就是同一份错的文字,说出来的自然也一样。此外,两个版本针对每个问题拿到的检索段落完全相同,所以共同的错误才会如此吻合。
在你自己的运行结果上试试
手上有两次针对同样题目的运行结果吗?格式是 JSONL,每行要有题目 id、答案,再加一个 correct 字段或一个标准答案文件。这样比较只需一条命令。它是公开仓库 memory-agreement-check 的一部分,MIT 许可证,无任何依赖:
git clone https://github.com/vadimchernets/memory-agreement-check
cd memory-agreement-check
python -m memcheck compare bf16.jsonl fp8.jsonl --label-a bf16 --label-b FP8每道题一行,形如:
{"qid": "q001", "answer": "Paris", "correct": true, "category": "factual"}它会输出 2×2 表格、精确 McNemar 检验和准确率差值的区间。还会数一数一字不差的答案有多少、两次运行都答错且答案相同的频率有多高,你的题目要是有分类,还会按类别拆开。--md report.md 可以保存报告。
这说明了什么,没说明什么
- 120 道题足以看出 FP8 没有毁掉这个模型,但不足以保证没有一两个百分点的下降。
- 检验把每道题都当成相互独立的。如果很多题来自同一份文档或同一个模板,真实的样本量就比 120 小。
- "错误来自检索"是 Anagha 对她自己系统的判断。48 里的 42 支持这一点。要直接验证,就得让同样的题目分别在正确的段落和错误的段落下各答一次。
接下来
Anagha 同意把她的 FP8 与 bf16 检查作为一个实例放进仓库,署上她的名字。下一个比较两个版本的人,就有了一个真实的案例作起点,而不只是编出来的。
时间线
- Anagha 在 LinkedIn 上发布了她的 FP8 检查:120 道题中 71 对 72,McNemar p = 1.0。我们评论说,翻转的数量比 p 值更能说明问题。她回复了我们,我们便问两个方向各翻转了多少题。
-
她的回答:只有一道,bf16 对而 FP8 错,反方向没有,并且 120 个答案中有 49 个一字不差。当晚,公开脚本加上了
compare模式,我们把根据她的汇总算出的区间和规划数字发给了她。 - Anagha 在自己的两次运行上跑了它:数字完全吻合,而且两个版本都答错时,48 次中有 42 次给出了同一个错误答案。她同意做成实例。