Poly

一起做的研究

合作研究

其中有些始于我们在别人的论文或帖子下提出的一个问题,有一个始于别人发给我们的一条消息。在每一项合作里,都有一位自己打造模型、记忆或推理工具的人,公开地和我们一起研究一个问题。每个故事都有各自的主题,也各有各的曲折。

半分钟读完

目前有四个故事,分别来自 AI 的三个不同角落:

  • Anagha Langhe 检验了把她的模型从 bf16 换成 FP8 运行,答案会不会变。120 道题里只有 1 道翻转;而当两个版本都答错时,48 次中有 42 次选了同一个错误答案。
  • Mark Goodbody 写了一批决策案例,想看看他的推理框架会不会改变 ChatGPT 和 Claude 的决定。每个版本只跑一次的结果是不会:决定保持不变,而且模型大多自己就能把"说法变了"和"行动变了"区分开。
  • Mohan Bheemadolu 用 FlyHash 把智能体的记忆压成很短的编码。我们一起设计了一项测试:记忆变小之后,两个互相核查的 AI 会不会更常对同一个错误答案达成一致。
  • top10ai.com 的 Milena Josimov 写了 Poly Duo,我们也链接了她的指南。现在我们在商量用 ChatGPT 和 Claude 对 AI 应用构建器做一次对比。

故事

合作是怎么进行的

  1. 你带来一个问题、一套系统或一批数据:你在运行的模型、一个检索器、一组案例,或是一篇你想拿来压力测试的论文。
  2. 在看结果之前,我们先商定要跑什么,以及什么样的结果才算一个答案。
  3. 双方各自完成自己的部分。凡是能公开的都公开:代码、提示词、原始输出、数字。
  4. 故事会写成像这样的一个页面,用平实的话讲述,附上你的名字和链接,并随工作的推进不断更新。

提议一项合作

用几句话告诉我们:你在做什么、想弄清什么,以及代码或论文在哪里。每一条我们都会读,并亲自回复。

[email protected]