O FP8 muda as respostas de um modelo? Uma troca em 120
com Anagha Langhe · LLM auto-hospedado em uma NVIDIA L4 · DocumentSyncAI

Em meio minuto
Anagha Langhe roda o próprio modelo de linguagem numa única placa de vídeo, uma NVIDIA L4. Ela queria saber se guardar os números do modelo num formato mais leve faz ele responder pior. Esse formato, o FP8, reduz a memória dos pesos em cerca de 43% (de 14,3 para 8,2 GiB) em relação ao bf16 de sempre, então é tentador.
Ela fez as mesmas 120 perguntas às duas versões: 72 certas no bf16, 71 no FP8. Só uma resposta mudou. E, quando as duas erraram, deram a mesma resposta errada 42 vezes em 48.
Anagha rodou nosso script aberto de comparação nos dados dela e chegou aos mesmos números. A conclusão dela: os erros vêm da recuperação, a etapa em que o sistema busca os documentos de onde tira as respostas, e não do formato mais leve.
A pergunta
O sistema da Anagha responde a perguntas sobre documentos. Primeiro ele busca os trechos certos, depois o modelo responde a partir deles. O código é aberto: DocumentSyncAI.
O FP8 reduziu a memória dos pesos em cerca de 43% (de 14,3 para 8,2 GiB), porque as camadas de embeddings e de saída continuam em bf16. Numa GPU só, esse é o ponto principal. A dúvida é igualmente simples: o formato menor piora as respostas sem ninguém notar?
Anagha mediu. Fez as mesmas 120 perguntas às duas versões e postou o resultado no LinkedIn: 72 acertos em bf16, 71 em FP8, e um teste exato de McNemar com p = 1,0 (um teste que mostra se uma diferença é mais do que sorte; 1,0 quer dizer nenhum sinal de diferença). No mesmo post ela contou mais um número do ambiente dela: a taxa de acerto do cache de prefixo, ou seja, com que frequência o servidor conseguiu reaproveitar trabalho já feito, subiu de 12% para 26%.
72 contra 71 parece "nenhuma diferença". Mas com 120 perguntas um teste desses só pega uma queda grande. Perder três ou quatro pontos provavelmente ainda não apareceria. Então o que importa não é o valor-p, e sim o que aconteceu com cada pergunta.
Quem fez o quê
- Anagha montou o ambiente, rodou as duas versões nas mesmas 120 perguntas, corrigiu as respostas e, depois, rodou a comparação nos próprios arquivos.
- Nós (Vadym Chernets) perguntamos a ela quantas perguntas mudaram em cada direção, depois acrescentamos um pequeno modo
comparea um script aberto que mantemos para ver se modelos concordam, e calculamos o intervalo e os números de planejamento a partir do resumo dela. - Quando a Anagha rodou esse script com todos os dados, deu os mesmos números, mais um que não dava para ver no resumo: com que frequência as duas versões erraram do mesmo jeito.
O que mostram os números
| Medida | Valor |
|---|---|
| Acurácia, bf16 | 72 / 120 |
| Acurácia, FP8 | 71 / 120 |
| Trocas: só bf16 certo / só FP8 certo | 1 / 0 |
| Teste exato de McNemar | p = 1,0 |
| Diferença bf16 − FP8 | +0,8 ponto, intervalo de 95% de cerca de −2,3 a +4,6 |
| Respostas idênticas, palavra por palavra | 49 de 120 |
| Ambas erradas, com a mesma resposta errada | 42 de 48 |
Como ler isso. Uma troca combina com o FP8 não custar nada. Mas não prova isso: uma queda de um par de pontos ainda cabe dentro do intervalo, a faixa onde a diferença real provavelmente está.
Com menos de seis trocas, um teste exato de McNemar não chega a p < 0,05, para qualquer lado. Então aqui as trocas e o intervalo dizem mais do que o valor-p.
E, para enxergar uma queda de um ponto, seriam necessárias umas 800 perguntas, mesmo que todas as trocas fossem na mesma direção.
O 42 de 48 nos surpreendeu. Se o FP8 só deixasse o modelo mais ruidoso, os erros dele se espalhariam. Em vez disso, as duas versões tropeçam nas mesmas perguntas e caem na mesma resposta errada.
A Anagha disse assim: isso "combina com a minha leitura de que os erros vêm da recuperação, não da quantização". Quando o sistema puxa os trechos errados, as duas versões leem o mesmo texto errado e dizem a mesma coisa. Além disso, as duas versões receberam exatamente os mesmos trechos recuperados para cada pergunta, e é por isso que os erros compartilhados coincidem tão bem.
Teste nas suas próprias execuções
Tem duas execuções das mesmas perguntas em JSONL? Cada linha precisa de um id da pergunta, a resposta e um campo correct ou um arquivo de gabarito. Aí a comparação é um comando só. Ela faz parte do repositório aberto memory-agreement-check, licença MIT, sem dependências:
git clone https://github.com/vadimchernets/memory-agreement-check
cd memory-agreement-check
python -m memcheck compare bf16.jsonl fp8.jsonl --label-a bf16 --label-b FP8Uma linha por pergunta fica assim:
{"qid": "q001", "answer": "Paris", "correct": true, "category": "factual"}Ele imprime a tabela 2×2, o teste exato de McNemar e o intervalo da diferença de acurácia. Conta também as respostas idênticas e com que frequência as duas execuções erram com a mesma resposta, e divide tudo por categoria, se as suas perguntas tiverem uma. --md report.md salva o relatório.
O que isso mostra e o que não mostra
- 120 perguntas bastam para ver que o FP8 não estragou este modelo. Não bastam para prometer que não há uma queda de um ou dois pontos.
- O teste trata cada pergunta como independente. Se muitas vêm de um mesmo documento ou de um mesmo modelo de texto, a amostra real é menor que 120.
- "Os erros vêm da recuperação" é a leitura que Anagha faz do próprio sistema. O 42 de 48 reforça essa leitura. Para checar de frente, seria preciso responder às mesmas perguntas uma vez com os trechos certos e outra com trechos errados.
O que vem a seguir
Anagha concordou em deixar a verificação dela de FP8 contra bf16 entrar no repositório como exemplo prático, com o nome dela. Quem for comparar duas versões depois vai ter um caso real para começar, e não só um inventado.
Cronologia
- Anagha publica no LinkedIn a verificação de FP8: 71 contra 72 de 120, McNemar p = 1,0. Comentamos que a contagem de trocas diz mais que o valor-p. Ela responde, e perguntamos quantas perguntas mudaram em cada direção.
-
A resposta dela: só uma, bf16 certo e FP8 errado, nenhuma no sentido contrário, e 49 das 120 respostas idênticas palavra por palavra. Durante a noite o script aberto ganha o modo
compare, e enviamos a ela o intervalo e os números de planejamento calculados a partir do resumo. - Anagha roda nas duas execuções dela: os números batem exatamente e, quando as duas versões erraram, deram a mesma resposta errada em 42 de 48. Ela aceita o exemplo prático.