合作研究

FP8 会改变模型的答案吗?120 道题只翻转了 1 道

与 Anagha Langhe · 在一块 NVIDIA L4 上自托管大语言模型 · DocumentSyncAI

插图:一个装满玻璃珠的漏斗同时供给一台全尺寸机器和一台更小的孪生机器,两者都由同一块显卡驱动;它们把珠子分进几乎一样的托盘,代表错误答案的灰色珠子落在相同的格子里。

半分钟读完

Anagha Langhe 自己在一块显卡(NVIDIA L4)上跑一个语言模型。她想知道,把模型的数字存成更轻的格式,回答会不会变差。这种格式叫 FP8,比常用的 bf16 少用约 43% 的权重内存(从 14.3 降到 8.2 GiB),所以很诱人。

她把同样的 120 道题分别问了两个版本:bf16 答对 72 道,FP8 答对 71 道。只有 1 个答案翻转。而且两个版本都答错的时候,48 次里有 42 次给出的是同一个错误答案。

Anagha 用我们公开的比较脚本跑了自己的数据,得到的数字一模一样。她的结论是:错误出在检索上,也就是她的系统去查文档、再从文档里作答的那一步,而不是出在这个更轻的格式上。

在 YouTube 上观看

问题

Anagha 的系统是回答文档相关问题的:先查出相关段落,模型再根据这些段落作答。代码是公开的:DocumentSyncAI。

FP8 把权重内存减少了约 43%(从 14.3 降到 8.2 GiB),因为嵌入层和输出层仍保持 bf16。在单块 GPU 上,这就是它的全部意义。要担心的也同样简单:这种更小的格式,会不会悄悄让答案变差?

Anagha 实测了一下。她把同样的 120 道题分别问了两个版本,并把结果发在了 LinkedIn 上:bf16 答对 72 道,FP8 答对 71 道,精确 McNemar 检验 p = 1.0(这个检验是看差别是不是比运气更大;1.0 就是看不出有差别)。同一篇帖子里她还分享了她环境里的另一个数字:前缀缓存命中率,也就是服务器能直接复用已做过的工作的频率,从 12% 升到了 26%。

72 对 71,看上去像"没有差别"。但只有 120 道题,这样的检验只抓得住大幅下降。要是掉了三四个百分点,大概也还是看不出来。所以关键不在 p 值,而在每一道题实际发生了什么。

谁做了什么

  • Anagha 搭建了环境,在同样的 120 道题上跑了两个版本,给答案打分,之后又在自己的文件上运行了比较。
  • 我们(Vadym Chernets)问她两个方向各有多少题翻转。然后我们给手头一个检查模型是否一致的公开脚本加了个小小的 compare 模式,并根据她的汇总数据算出了区间和规划用的数字。
  • Anagha 在完整数据上跑了这个脚本,得到了同样的数字,外加一个我们从汇总里看不到的:两个版本以同样的方式答错的频率。

数字是什么样子

120 道题 两者完全相同 bf16 答对 72 FP8 答对 71 71两者都对 1仅 bf16答对 0仅 FP8答对 48两者都错 两者都答错的 48 道里: 42 道错得一模一样 · 6 道各错各的
120 道题各自落入四个格子之一,只有一道偏离了对角线。大多数共同的错误,都是完全相同的答案。
120 道里 1 道两个版本之间翻转的题目,结果偏向 bf16
49个答案一字不差
48 里的 42共同的错误是同一个错误答案
指标 数值
准确率,bf16 72 / 120
准确率,FP8 71 / 120
翻转:仅 bf16 对 / 仅 FP8 对 1 / 0
精确 McNemar 检验 p = 1.0
差值 bf16 − FP8 +0.8 个百分点,95% 区间约为 −2.3 到 +4.6
一字不差的答案 120 个里的 49 个
两者都错且错误答案相同 48 个里的 42 个

怎么解读:只翻转了 1 道,完全说得通 FP8 没有任何代价。但这不能证明它没有代价:下降一两个百分点,仍然落在区间里。区间就是真实差别最可能在的范围。

翻转少于六个的时候,不管方向如何,精确 McNemar 检验都不可能达到 p < 0.05。所以这里,翻转数和区间比 p 值更能说明问题。

另外,要看出一个百分点的下降,大约需要 800 道题,哪怕所有翻转都朝同一个方向。

48 里的 42 让我们挺意外。如果 FP8 只是让模型更"毛躁",错误应该是散的。可实际上,两个版本栽在同样的题上,还落在同一个错误答案上。

Anagha 是这么说的:这"符合我的判断:错误来自检索,而不是量化"。系统查错了段落,两个版本读的就是同一份错的文字,说出来的自然也一样。此外,两个版本针对每个问题拿到的检索段落完全相同,所以共同的错误才会如此吻合。

在你自己的运行结果上试试

手上有两次针对同样题目的运行结果吗?格式是 JSONL,每行要有题目 id、答案,再加一个 correct 字段或一个标准答案文件。这样比较只需一条命令。它是公开仓库 memory-agreement-check 的一部分,MIT 许可证,无任何依赖:

git clone https://github.com/vadimchernets/memory-agreement-check
cd memory-agreement-check
python -m memcheck compare bf16.jsonl fp8.jsonl --label-a bf16 --label-b FP8

每道题一行,形如:

{"qid": "q001", "answer": "Paris", "correct": true, "category": "factual"}

它会输出 2×2 表格、精确 McNemar 检验和准确率差值的区间。还会数一数一字不差的答案有多少、两次运行都答错且答案相同的频率有多高,你的题目要是有分类,还会按类别拆开。--md report.md 可以保存报告。

这说明了什么,没说明什么

  • 120 道题足以看出 FP8 没有毁掉这个模型,但不足以保证没有一两个百分点的下降。
  • 检验把每道题都当成相互独立的。如果很多题来自同一份文档或同一个模板,真实的样本量就比 120 小。
  • "错误来自检索"是 Anagha 对她自己系统的判断。48 里的 42 支持这一点。要直接验证,就得让同样的题目分别在正确的段落和错误的段落下各答一次。

接下来

Anagha 同意把她的 FP8 与 bf16 检查作为一个实例放进仓库,署上她的名字。下一个比较两个版本的人,就有了一个真实的案例作起点,而不只是编出来的。

时间线

  1. Anagha 在 LinkedIn 上发布了她的 FP8 检查:120 道题中 71 对 72,McNemar p = 1.0。我们评论说,翻转的数量比 p 值更能说明问题。她回复了我们,我们便问两个方向各翻转了多少题。
  2. 她的回答:只有一道,bf16 对而 FP8 错,反方向没有,并且 120 个答案中有 49 个一字不差。当晚,公开脚本加上了 compare 模式,我们把根据她的汇总算出的区间和规划数字发给了她。
  3. Anagha 在自己的两次运行上跑了它:数字完全吻合,而且两个版本都答错时,48 次中有 42 次给出了同一个错误答案。她同意做成实例。

← 所有合作 · 提议一项合作