一起做的研究

合作研究

其中有的合作,起点是我们在别人的论文或帖子下留的一条评论;有的,是对方主动给我们发来的消息。每个故事都有自己的主题,也有自己的曲折。

插图:阳光照进的工作室里有四张工作台:带两个仪表的显卡、风暴中的小岛旁的决策卡片、停着一只果蝇的发光点玻璃箱、一排应用积木。它们都由发光的细线连到一本画满图表的打开的笔记本上。

半分钟读完

三个人,三个不同的问题。他们每个人都在做自己的东西,我们和他们一起,公开地研究其中一个问题。

Anagha Langhe 想知道,把她的模型换成轻量版(FP8),回答会不会变差。120 道题里,只有 1 道从答对变成了答错。

Mark Goodbody 测了他的推理框架会不会改变 ChatGPT 和 Claude 的决定,在这些运行中,不论有没有框架,主要的区分都出现了,所以目前还没有证明它有好处:模型自己本来就能把"我们能说什么"和"我们该做什么"分开。

Mohan Bheemadolu 把智能体的记忆压成很短的编码,我们一起在测,这样会不会让两个 AI 更容易对同一个错误答案达成一致。

在 YouTube 上观看

故事

三位顾问都推荐那所学校,依据的都是同一张两年前的地图。其中一位手里有今天的检查报告,说学校的无障碍入口关闭了。无论 Mark 的框架摆没摆在面前,两个 AI 都把这三位算作同一个来源。

AI 模型已经能把"说法"和"行动"分开了吗?

与 Mark Goodbody · 系统工程师,英国 · Mechanical Ethics 和 TRACE 的作者

阅读这个故事 →

合作是怎么进行的

  1. 你带来一个问题、一套系统或一些数据:你在跑的模型、一个给智能体用的记忆、一组案例,或是一篇你想拿来检验一下的论文。
  2. 看结果之前,我们先说好要跑什么,怎样才算有了答案。
  3. 双方各跑各的部分。能公开的都公开:代码、提示词、原始回答、数字。
  4. 故事会写成像这样的一个页面,用平实的话讲述,附上你的名字和链接,并随工作的推进不断更新。

提议一项合作

用几句话告诉我们:你在做什么、想弄清什么,以及代码或论文在哪里。每一条我们都会读,并亲自回复。

polyhelper.ai@gmail.com