Anagha は、自分のモデルのbf16版とFP8版に、同じ120問を投げました。答えが変わったのは1問だけ。そして両方が間違えたとき、48回中42回は同じ間違った答えでした。
FP8にするとモデルの答えは変わる? 120問中、変わったのは1問
共同: Anagha Langhe · NVIDIA L4 1枚でLLMをセルフホスト · DocumentSyncAI
ストーリーを読む →一緒に進める研究
論文や投稿の下に私たちがコメントを残したのがきっかけのものもあれば、届いたメッセージから始まったものもあります。どれもテーマも、思わぬ展開も違います。

30秒でわかる
三人の、それぞれ違う問いです。みなさん自分で何かをつくっていて、私たちはその中の一つの問いに、オープンに一緒に取り組んでいます。
Anagha Langheさんは、モデルを軽くしたバージョン(FP8)だと答えの質が落ちるのかを調べました。120問のうち、正解から不正解に変わったのは1問だけでした。
Mark Goodbodyさんは、自分の推論フレームワークでChatGPTとClaudeの判断が変わるのかを試しました。これらの実行では、主要な区別はフレームワークがあってもなくても現れたので、効果はまだ確認できていません。モデルは「言えること」と「やるべきこと」を、もともと自分で分けて考えているようです。
Mohan Bheemadoluさんは、エージェントのメモリをごく短いコードに詰め込んでいます。私たちは一緒に、そうするとAI二つが同じ間違った答えで一致しやすくなるのかを試しています。
Anagha は、自分のモデルのbf16版とFP8版に、同じ120問を投げました。答えが変わったのは1問だけ。そして両方が間違えたとき、48回中42回は同じ間違った答えでした。
共同: Anagha Langhe · NVIDIA L4 1枚でLLMをセルフホスト · DocumentSyncAI
ストーリーを読む →三人のアドバイザーが、同じ2年前の地図をもとに小学校を推す。うち一人の手元には、今日の点検で「段差のない入口が閉鎖されている」という情報がある。2つのAIは、Markのフレームワークがあってもなくても、この三つを一つの情報源として数えました。
共同: Mark Goodbody · システムエンジニア、英国 · Mechanical Ethics と TRACE の著者
ストーリーを読む →エージェントのメモリに事実がなかったとき、GPTとClaudeはそれでも33回、同じ答えを出し、そのうち15回は間違いでした。MohanのFlyHashは、記憶ごとにごく少数のアクティブビットだけをオンにします。より圧縮されたコードは、この共有された間違いを増やすのでしょうか。
共同: Mohan Bheemadolu · AIエージェント開発者 · FlyHash for LLM agent memory の共著者
ストーリーを読む →取り組んでいること、知りたいこと、コードや論文の場所を、数行で教えてください。すべて目を通し、私たち自身がお返事します。