コラボレーション

FP8にするとモデルの答えは変わる? 120問中、変わったのは1問

共同: Anagha Langhe · NVIDIA L4 1枚でLLMをセルフホスト · DocumentSyncAI

イラスト:ガラス玉の入った一つのじょうごが、大きな機械と小さめの双子の機械に玉を送る。どちらも一枚のグラフィックカードで動き、玉をほぼ同じトレイに振り分ける。間違いを表す灰色の玉も同じ位置に落ちている。

30秒でわかる

Anagha Langheさんは、NVIDIA L4というグラフィックカード1枚で、自分の言語モデルを動かしています。モデルの数値をもっと軽い形式で持つと、答えが悪くなるのか知りたがっていました。その形式がFP8で、よく使われるbf16に比べて重みのメモリを約43%減らせる(14.3から8.2 GiB)ので、つい試したくなります。

同じ120問を両方のビルドに投げたところ、正解はbf16が72問、FP8が71問。答えがひっくり返ったのは1問だけでした。そして両方が間違えたときは、48回中42回まで同じ間違った答えでした。

Anaghaさんは、私たちの公開比較スクリプトを自分のデータで走らせて、同じ数字を得ました。彼女の結論はこうです。間違いの原因は、軽い形式ではなく、検索にあります。検索とは、答えのもとになる文書を探してくる段階のことです。

YouTubeで見る

問い

Anaghaさんのシステムは、文書についての質問に答えます。まず合いそうな箇所を探し、モデルがそれをもとに答えます。コードは公開されています。DocumentSyncAI。

FP8は重みのメモリを約43%減らしました(14.3から8.2 GiB)。埋め込み層と出力層がbf16のままだからです。GPU1枚で動かすなら、それがすべてです。気がかりも同じくらい単純です。小さい形式にすると、知らないうちに答えが悪くなっていないか。

Anaghaさんは実際に測りました。同じ120問を両方のビルドに投げ、結果をLinkedInに投稿しています。bf16で72問正解、FP8で71問正解、正確なMcNemar検定でp = 1.0(差が偶然より大きいかを見る検定で、1.0は差の兆しなしという意味)。同じ投稿でもう一つ、彼女の環境の数字を共有しています。プレフィックスキャッシュのヒット率、つまりサーバーがやった作業を使い回せた割合が、12%から26%に上がりました。

72対71は「差なし」に見えます。ただ、120問だと、この種の検定で捕まえられるのは大きな低下だけです。3〜4ポイントの低下くらいなら、おそらく見えません。だから大事なのはp値ではなく、一問一問に何が起きたかです。

誰が何をしたか

  • Anagha は環境を組み、同じ120問で両方のビルドを走らせ、答えを採点し、のちに自分のファイルで比較を実行しました。
  • 私たち(Vadym Chernets)は、どちらの向きに何問ひっくり返ったかを彼女に尋ねました。それから、モデル同士が一致するかを調べるために使っている公開スクリプトに小さな compare モードを足し、彼女の集計から区間と計画用の数字を計算しました。
  • Anaghaさんが全データでそのスクリプトを走らせると、同じ数字が返ってきました。さらに、集計からは見えなかった数字も一つ。2つのビルドが同じ形で間違えた頻度です。

数字で見る

120問 両方に同じ問題 bf16 正解72 FP8 正解71 71両方正解 1bf16のみ正解 0FP8のみ正解 48両方不正解 両方が間違えた48問のうち: 42問は同じ間違った答え · 6問は別の答え
120問はそれぞれ四つの箱のどれかに入ります。対角線から外れているのは1問だけ。共有された間違いの大半は、まったく同じ答えでした。
120問中1問2つのビルドの間でひっくり返った問題。どちらもbf16に有利な向き
49一字一句まで同じだった答え
48問中42問共有された間違いのうち、同じ間違った答えだったもの
指標 値
精度、bf16 72 / 120
精度、FP8 71 / 120
ひっくり返った問題: bf16のみ正解 / FP8のみ正解 1 / 0
正確なMcNemar検定 p = 1.0
差 bf16 − FP8 +0.8ポイント、95%区間はおよそ −2.3〜+4.6
一字一句同じ答え 120問中49問
両方不正解で、同じ間違った答え 48問中42問

読み方です。ひっくり返ったのが1問というのは、FP8にコストがまったくかからない、という見方と合います。ただ、証明にはなりません。2ポイント程度の低下なら、区間(本当の差がありそうな範囲)の中にまだ収まります。

ひっくり返った問題が6問未満だと、どちらの向きに偏っても、正確なMcNemar検定ではp < 0.05に届きません。だからここでは、p値より、ひっくり返った数と区間のほうが多くを語ります。

そして1ポイントの低下を見つけるには、ひっくり返った問題がすべて同じ向きでも、およそ800問が必要です。

48問中42問には驚きました。FP8版が単にノイズが多いだけなら、間違いはばらけるはずです。ところが実際は、2つのビルドが同じ問題でつまずいて、同じ間違った答えに行き着いています。

Anaghaさんはこう言っています。「誤りは量子化ではなく検索に由来するという私の見方に合う」。システムが違う箇所を拾ってくると、どちらのビルドも同じ間違った文章を読んで、同じことを言うのです。また、どちらのビルドも、すべての質問でまったく同じ検索結果の箇所を受け取っていました。共通の間違いがこれほどよく重なるのはそのためです。

自分の実行で試す

同じ問題の2回分の実行結果がJSONLでありますか? 1行に、質問ID、答え、そして correct フィールドか正解ファイルのどちらかが要ります。それなら、比較はコマンド一つです。公開リポジトリ memory-agreement-check の一部で、MITライセンス、依存パッケージはありません。

git clone https://github.com/vadimchernets/memory-agreement-check
cd memory-agreement-check
python -m memcheck compare bf16.jsonl fp8.jsonl --label-a bf16 --label-b FP8

1問につき1行で、次のような形です。

{"qid": "q001", "answer": "Paris", "correct": true, "category": "factual"}

出力されるのは、2×2の表、正確なMcNemar検定、精度差の区間です。さらに、同一の答えの数と、2回の実行がどちらも同じ答えで間違えた頻度も数えて、問題にカテゴリがあれば、すべてカテゴリ別にも分けます。--md report.md でレポートを保存できます。

これが示すことと、示さないこと

  • 120問あれば、FP8がこのモデルを台無しにしていないことは分かります。1〜2ポイントの低下がないとまでは言えません。
  • 検定は、どの問題も独立だとみなします。多くの問題が一つの文書や一つのテンプレートから来ているなら、実質的なサンプルは120より小さくなります。
  • 「誤りは検索に由来する」というのは、Anaghaさんが自分のシステムについて下した読みです。48問中42問はそれを裏づけます。直接確かめるなら、同じ問題を、正しい箇所を渡したときと、違う箇所を渡したときで一度ずつ解かせます。

これから

Anaghaさんは、自分のFP8とbf16の検証を、彼女の名前つきの実例としてリポジトリに入れることに同意してくれました。次に2つのビルドを比べる人は、つくりものではない、本物のケースから始められます。

タイムライン

  1. AnaghaがLinkedInでFP8の検証を投稿します。120問中71対72、McNemarのp = 1.0。私たちは、p値よりひっくり返った問題の数のほうが多くを語る、とコメントします。彼女から返信があり、私たちはどちらの向きに何問ひっくり返ったかを尋ねます。
  2. 彼女の答えは、たった1問。bf16が正解でFP8が不正解で、逆はゼロ。120問中49問は一字一句まで同じ。その夜のうちに公開スクリプトに compare モードが加わり、彼女の集計から計算した区間と計画用の数字を送ります。
  3. Anaghaが自分の2回分の実行で走らせると、数字は完全に一致し、両方のビルドが間違えたときは48問中42問で同じ間違った答えでした。彼女は実例としての掲載に同意します。

← すべてのコラボレーション · コラボレーションを提案する