Anagha 把同样的 120 道题分别抛给她模型的 bf16 版和 FP8 版,只有 1 个答案翻转。两者都答错时,48 次里有 42 次给出的是同一个错误答案。
FP8 会改变模型的答案吗?120 道题只翻转了 1 道
与 Anagha Langhe · 在一块 NVIDIA L4 上自托管大语言模型 · DocumentSyncAI
阅读这个故事 →一起做的研究
其中有的合作,起点是我们在别人的论文或帖子下留的一条评论;有的,是对方主动给我们发来的消息。每个故事都有自己的主题,也有自己的曲折。

半分钟读完
三个人,三个不同的问题。他们每个人都在做自己的东西,我们和他们一起,公开地研究其中一个问题。
Anagha Langhe 想知道,把她的模型换成轻量版(FP8),回答会不会变差。120 道题里,只有 1 道从答对变成了答错。
Mark Goodbody 测了他的推理框架会不会改变 ChatGPT 和 Claude 的决定,在这些运行中,不论有没有框架,主要的区分都出现了,所以目前还没有证明它有好处:模型自己本来就能把"我们能说什么"和"我们该做什么"分开。
Mohan Bheemadolu 把智能体的记忆压成很短的编码,我们一起在测,这样会不会让两个 AI 更容易对同一个错误答案达成一致。
Anagha 把同样的 120 道题分别抛给她模型的 bf16 版和 FP8 版,只有 1 个答案翻转。两者都答错时,48 次里有 42 次给出的是同一个错误答案。
与 Anagha Langhe · 在一块 NVIDIA L4 上自托管大语言模型 · DocumentSyncAI
阅读这个故事 →三位顾问都推荐那所学校,依据的都是同一张两年前的地图。其中一位手里有今天的检查报告,说学校的无障碍入口关闭了。无论 Mark 的框架摆没摆在面前,两个 AI 都把这三位算作同一个来源。
与 Mark Goodbody · 系统工程师,英国 · Mechanical Ethics 和 TRACE 的作者
阅读这个故事 →智能体的记忆漏掉了关键事实时,GPT 和 Claude 仍有 33 次给出了相同的答案,其中 15 次是错的。Mohan 的 FlyHash 对每条记忆只打开少数几个活跃位。更压缩的编码会不会让这种共同的错误更常出现?
与 Mohan Bheemadolu · AI 智能体开发者 · FlyHash for LLM agent memory 的合著者
阅读这个故事 →用几句话告诉我们:你在做什么、想弄清什么,以及代码或论文在哪里。每一条我们都会读,并亲自回复。