Anagha는 자신의 모델 bf16 빌드와 FP8 빌드에 똑같은 120개 질문을 던졌습니다. 뒤집힌 답은 단 하나였습니다. 둘 다 틀린 경우에는 48번 중 42번이 같은 오답이었습니다.
FP8로 바꾸면 모델의 답이 달라질까? 120개 중 하나가 뒤집혔다
함께: Anagha Langhe · NVIDIA L4 한 장으로 LLM을 직접 운영 · DocumentSyncAI
이야기 읽기 →함께 하는 연구
어떤 이야기는 우리가 누군가의 논문이나 글 아래에 남긴 댓글에서, 어떤 이야기는 상대가 먼저 보내 온 메시지에서 시작했습니다. 이야기마다 주제도, 예상 밖의 전개도 다릅니다.

30초 요약
세 사람, 세 가지 질문. 모두 자기만의 무언가를 만들고 있고, 우리는 그중 한 가지 질문을 함께 공개적으로 풀어 갑니다.
Anagha Langhe는 자신의 모델을 가볍게 줄인 버전(FP8)이 답을 더 못하는지 확인했습니다. 120문제 중 맞던 답이 틀리게 바뀐 건 딱 하나였습니다.
Mark Goodbody는 자신의 추론 프레임워크가 ChatGPT와 Claude의 결정을 바꾸는지 시험했는데, 이번 실행에서는 주요 구분이 프레임워크가 있든 없든 나타나서 아직 이점이 확인되지 않았습니다. 모델들이 "말할 수 있는 것"과 "해야 할 일"을 이미 알아서 구분하고 있었거든요.
Mohan Bheemadolu는 에이전트의 메모리를 아주 작은 코드로 눌러 담고, 우리는 그러면 두 AI가 같은 오답에 동의하는 일이 더 잦아지는지 함께 실험하고 있습니다.
Anagha는 자신의 모델 bf16 빌드와 FP8 빌드에 똑같은 120개 질문을 던졌습니다. 뒤집힌 답은 단 하나였습니다. 둘 다 틀린 경우에는 48번 중 42번이 같은 오답이었습니다.
함께: Anagha Langhe · NVIDIA L4 한 장으로 LLM을 직접 운영 · DocumentSyncAI
이야기 읽기 →세 명의 조언자가 모두 2년 전의 같은 지도를 근거로 그 학교를 추천합니다. 한 조언자는 오늘 자 점검 결과, 학교의 단차 없는 출입구가 닫혀 있다는 사실을 갖고 있습니다. 두 AI는 Mark의 프레임워크가 앞에 있든 없든 세 명을 하나의 출처로 셌습니다.
함께: Mark Goodbody · 시스템 엔지니어, 영국 · Mechanical Ethics와 TRACE의 저자
이야기 읽기 →에이전트의 메모리에 사실이 빠져 있었는데도 GPT와 Claude는 33번이나 같은 답을 냈고, 그중 15번은 오답이었습니다. Mohan의 FlyHash는 기억마다 활성 비트 몇 개만 켭니다. 그렇다면 더 압축된 코드는 이런 공유된 실수를 더 흔하게 만들까요?
함께: Mohan Bheemadolu · AI 에이전트 개발자 · FlyHash for LLM agent memory 공저자
이야기 읽기 →어떤 작업을 하고 있는지, 무엇을 알아내고 싶은지, 코드나 논문은 어디 있는지 몇 줄로 알려 주세요. 모두 읽고 직접 답해 드립니다.