공동 연구

FP8로 바꾸면 모델의 답이 달라질까? 120개 중 하나가 뒤집혔다

함께: Anagha Langhe · NVIDIA L4 한 장으로 LLM을 직접 운영 · DocumentSyncAI

일러스트: 유리구슬이 담긴 깔때기 하나가 큰 기계와 더 작은 쌍둥이 기계에 구슬을 보낸다. 둘 다 그래픽카드 한 장으로 돌아가고, 구슬을 거의 똑같은 트레이로 나누며, 오답을 뜻하는 회색 구슬도 같은 칸에 떨어진다.

30초 요약

Anagha Langhe는 그래픽카드 한 장, NVIDIA L4로 자기 언어 모델을 직접 돌립니다. 모델의 숫자를 더 가벼운 형식으로 저장하면 답이 나빠지는지 궁금했죠. FP8이라는 그 형식은 보통 쓰는 bf16보다 가중치 메모리를 약 43% 줄여 주니(14.3에서 8.2 GiB) 솔깃합니다.

두 빌드에 똑같은 120개 질문을 던졌더니 bf16은 72개, FP8은 71개를 맞혔습니다. 답이 뒤집힌 건 딱 하나였어요. 그리고 둘 다 틀렸을 때는 48번 중 42번이 같은 오답이었습니다.

Anagha는 우리가 공개한 비교 스크립트를 자기 데이터에 돌려 봤고, 숫자는 똑같이 나왔습니다. 그녀의 결론은 이렇습니다. 실수는 가벼운 형식 때문이 아니라 검색, 그러니까 답할 문서를 찾아오는 단계에서 나온다는 것.

YouTube에서 보기

질문

Anagha의 시스템은 문서에 관한 질문에 답합니다. 먼저 알맞은 대목을 찾아오고, 모델이 그걸 보고 답하는 식이죠. 코드는 공개되어 있습니다: DocumentSyncAI.

FP8은 가중치 메모리를 약 43% 줄였습니다(14.3에서 8.2 GiB). 임베딩 층과 출력 층이 bf16으로 남기 때문입니다. GPU 한 장으로 돌린다면 이게 전부라고 할 만큼 큰 이유예요. 걱정도 그만큼 단순합니다. 작은 형식이 슬그머니 답을 나쁘게 만드는 건 아닐까?

Anagha는 직접 재 봤습니다. 두 빌드에 똑같은 120개 질문을 던지고 결과를 LinkedIn에 올렸어요. bf16은 72개 정답, FP8은 71개 정답, 정확 McNemar 검정은 p = 1.0이었습니다(차이가 운이 아닐 만큼 큰지 보는 검정이고, 1.0이면 차이의 흔적이 없다는 뜻입니다). 같은 글에서 그녀는 자기 환경의 숫자를 하나 더 공유했습니다. 서버가 이미 해 둔 계산을 재사용한 비율인 프리픽스 캐시 적중률이 12%에서 26%로 올랐다는 것입니다.

72 대 71이면 "차이 없음"처럼 보입니다. 하지만 질문이 120개면 이런 검정은 큰 하락만 잡아냅니다. 3~4점쯤 떨어져도 아마 드러나지 않을 거예요. 그래서 중요한 건 p값이 아니라 문제 하나하나에 무슨 일이 있었느냐입니다.

누가 무엇을 했나

  • Anagha는 환경을 구성하고, 같은 120개 질문에 두 빌드를 돌리고, 답을 채점했으며, 나중에 자신의 파일로 비교까지 직접 돌렸습니다.
  • 우리(Vadym Chernets)는 양방향으로 각각 몇 문제가 뒤집혔는지 물었습니다. 그다음 모델끼리 답이 같은지 확인하려고 관리하던 공개 스크립트에 작은 compare 모드를 붙이고, 그녀의 요약으로 구간과 계획용 수치를 계산했습니다.
  • Anagha가 전체 데이터로 그 스크립트를 돌렸더니 같은 숫자가 나왔고, 요약만으론 볼 수 없던 값도 하나 나왔습니다. 두 빌드가 얼마나 자주 똑같은 방식으로 틀렸는지입니다.

숫자는 이렇게 생겼다

질문 120개 두 빌드에 동일 bf16 정답 72 FP8 정답 71 71둘 다정답 1bf16만정답 0FP8만정답 48둘 다오답 둘 다 틀린 48개 중 42개는 같은 오답 · 6개는 서로 다른 오답
120개 질문은 각각 네 칸 중 하나에 들어갑니다. 대각선에서 벗어난 칸은 단 하나뿐이고, 공유된 실수의 대부분은 글자까지 같은 답입니다.
120개 중 1개두 빌드 사이에서 뒤집힌 질문, bf16에 유리한 방향
49글자 그대로 똑같이 돌아온 답
48개 중 42개공유된 실수 가운데 같은 오답이었던 것
항목 값
정확도, bf16 72 / 120
정확도, FP8 71 / 120
뒤집힘: bf16만 정답 / FP8만 정답 1 / 0
정확 McNemar 검정 p = 1.0
차이 bf16 − FP8 +0.8점, 95% 구간 약 −2.3 ~ +4.6
글자 그대로 같은 답 120개 중 49개
둘 다 틀렸고 오답도 같음 48개 중 42개

이렇게 읽으면 됩니다. 뒤집힌 게 하나라는 건 FP8의 비용이 전혀 없다는 가설과 잘 맞습니다. 다만 증명은 아닙니다. 2점 안팎의 하락은 구간, 즉 진짜 차이가 있을 법한 범위 안에 여전히 들어가니까요.

뒤집힌 문제가 6개 미만이면 어느 방향이든 정확 McNemar 검정은 p < 0.05에 닿을 수 없습니다. 그래서 여기서는 p값보다 뒤집힌 개수와 구간이 더 많은 걸 말해 줍니다.

그리고 1점 차이를 보려면, 뒤집힌 게 전부 같은 방향이라 해도 질문이 대략 800개는 필요합니다.

48개 중 42개는 우리도 놀랐습니다. FP8이 모델을 그냥 불안정하게 만든 거라면 실수가 흩어졌어야 하죠. 그런데 두 빌드는 같은 질문에서 넘어지고 같은 오답에 도착합니다.

Anagha는 이렇게 말했습니다. "실수는 양자화가 아니라 검색에서 나온다는 제 판단과 맞아떨어집니다." 시스템이 엉뚱한 대목을 가져오면 두 빌드가 같은 엉뚱한 글을 읽고 같은 말을 한다는 거죠. 또한 두 빌드는 모든 질문에서 정확히 똑같은 검색 결과 대목을 받았고, 그래서 공통된 오답이 이렇게 잘 겹칩니다.

직접 돌려 보세요

같은 질문에 대한 실행 결과가 두 개 있나요? 한 줄에 질문 id, 답, 그리고 correct 필드(또는 정답 파일)가 있는 JSONL이면 됩니다. 그러면 비교는 명령 한 줄입니다. 공개 저장소 memory-agreement-check의 일부이고, MIT 라이선스에 의존성도 없습니다.

git clone https://github.com/vadimchernets/memory-agreement-check
cd memory-agreement-check
python -m memcheck compare bf16.jsonl fp8.jsonl --label-a bf16 --label-b FP8

질문 하나당 한 줄은 이런 모양입니다.

{"qid": "q001", "answer": "Paris", "correct": true, "category": "factual"}

출력에는 2×2 표, 정확 McNemar 검정, 정확도 차이의 구간이 나옵니다. 똑같은 답의 개수와 두 실행이 같은 오답으로 함께 틀린 비율도 세고, 질문에 카테고리가 있으면 전부 카테고리별로 나눠 보여 줍니다. --md report.md를 붙이면 보고서가 저장됩니다.

이 결과가 보여 주는 것과 보여 주지 못하는 것

  • 120개 질문이면 FP8이 이 모델을 망가뜨리지 않았다는 건 확인됩니다. 하지만 1~2점의 하락이 없다고 장담하기엔 부족합니다.
  • 이 검정은 모든 질문을 서로 독립이라고 봅니다. 많은 질문이 한 문서나 한 템플릿에서 나왔다면 실제 표본은 120보다 작습니다.
  • "실수는 검색에서 나온다"는 Anagha가 자기 시스템을 보고 내린 해석입니다. 48개 중 42개가 이를 뒷받침하고요. 정면으로 확인하려면 같은 질문에 알맞은 대목을 준 경우와 엉뚱한 대목을 준 경우로 한 번씩 답하게 해 보면 됩니다.

다음 단계

Anagha는 자신의 FP8 대 bf16 검사를 실제 사례로 저장소에 넣는 데 동의했고, 거기에 그녀의 이름이 함께 올라갑니다. 앞으로 두 빌드를 비교하려는 사람이 지어낸 예제가 아니라 진짜 사례에서 출발할 수 있게요.

타임라인

  1. Anagha가 LinkedIn에 FP8 검사를 올립니다. 120개 중 71 대 72, McNemar p = 1.0. 우리는 p값보다 뒤집힌 개수가 더 많은 것을 말해 준다는 댓글을 남깁니다. 그녀가 답글을 달았고, 우리는 양방향으로 각각 몇 문제가 뒤집혔는지 묻습니다.
  2. 그녀의 답은 이렇습니다. 딱 하나, bf16은 맞고 FP8은 틀린 문제뿐이고 반대 방향은 없으며, 120개 답 중 49개는 글자 그대로 같았습니다. 밤사이 공개 스크립트에 compare 모드가 생겼고, 우리는 그녀의 요약으로 계산한 구간과 계획용 수치를 보냅니다.
  3. Anagha가 자신의 두 실행 결과에 스크립트를 돌립니다. 숫자는 정확히 일치했고, 두 빌드가 모두 틀렸을 때는 48개 중 42개가 같은 오답이었습니다. 그녀는 실제 사례로 싣는 데 동의합니다.

← 모든 공동 연구 · 공동 연구 제안하기