Anagha は、自分のモデルのbf16版とFP8版に、同じ120問を投げました。答えが変わったのは1問だけ。そして両方が間違えたとき、48回中42回は同じ間違った答えでした。
FP8にするとモデルの答えは変わる？ 120問中、変わったのは1問
共同: Anagha Langhe · NVIDIA L4 1枚でLLMをセルフホスト
ストーリーを読む →一緒に進める研究
コラボレーション
私たちが論文や投稿の下に残した質問から始まったものもあれば、誰かから届いた一通のメッセージから始まったものもあります。どのストーリーでも、自分のモデルやメモリ、推論ツールをつくっている人が、私たちと一緒に、オープンな場で一つの問いに取り組んでいます。ストーリーごとにテーマも、思わぬ展開も違います。
30秒でわかる
これまでに四つのストーリーがあります。AIのまったく違う領域の話です。
- Anagha Langhe は、モデルをbf16ではなくFP8で動かすと答えが変わるのかを確かめました。120問のうち変わった答えは1つ。両方のビルドが間違えたときは、48回中42回まで同じ間違った答えを選びました。
- Mark Goodbody は、自分の推論フレームワークがChatGPTとClaudeの判断を変えるのかを見るために、意思決定のケースを書きました。バージョンごとに1回ずつ走らせた範囲では、変わりませんでした。判断は同じままで、モデルは言い換えられた主張と変わった行動を、たいてい自分で切り分けていました。
- Mohan Bheemadolu は、FlyHashでエージェントのメモリをごく短いコードに詰め込んでいます。私たちは一緒に、メモリが小さくなると、検証役の2つのAIが同じ間違った答えで一致しやすくなるのかを試す実験を組みました。
- top10ai.comのMilena JosimovさんがPoly Duoについて書き、私たちは彼女のガイドにリンクしました。今はChatGPTとClaudeによるAIアプリビルダーの比較を話し合っています。
ストーリー
三人のアドバイザーが、同じ2年前の地図をもとに小学校を推す。うち一人の手元には、今日の点検で「段差のない入口が閉鎖されている」という情報がある。2つのAIは、Markのフレームワークがあってもなくても、この三つを一つの情報源として数えました。
AIモデルは、主張と行動をすでに切り分けているか？
共同: Mark Goodbody · システムエンジニア、英国 · Mechanical Ethics と TRACE の著者
ストーリーを読む →エージェントのメモリに事実がなかったとき、GPTとClaudeはそれでも33回、同じ答えを出し、そのうち15回は間違いでした。MohanのFlyHashはメモリをぐっと小さくします。では、この共有された間違いも増えるのでしょうか。
エージェントのメモリを短いコードに圧縮すると、二つのAIは同じ間違った答えで一致するのか？
共同: Mohan Bheemadolu · AIエージェント開発者、レドモンド · FlyHash for LLM agent memory の共著者
ストーリーを読む →top10ai.comがPoly Duoを紹介し、私たちは読者を彼女たちのガイドへ案内しました。今はChatGPTとClaudeで行うAIアプリビルダーの比較を話し合っています。
どのAIアプリビルダーを選ぶ？ 二つのAIによる比較
共同: Milena Josimov · top10ai.com
ストーリーを読む →コラボレーションの進め方
- あなたが問い、システム、データを持ち込みます。自分で動かしているモデル、リトリーバー、ケース集、ストレステストしてみたい論文など、何でも構いません。
- 結果を見る前に、何を走らせるか、何をもって答えとみなすかを一緒に決めます。
- 双方がそれぞれの部分を実行します。公開できるものはすべて公開します。コード、プロンプト、生の出力、数字です。
- ストーリーは、ここにあるようなページに、平易な言葉で、あなたの名前とリンクつきで載せます。作業が進むにつれて、ページも育っていきます。
コラボレーションを提案する
取り組んでいること、知りたいこと、コードや論文の場所を、数行で教えてください。すべて目を通し、私たち自身がお返事します。