如何为自己的工作选择一个AI工具——研究笔记
这是译文。权威版本是英文原文，引用请以原文为准。
当今任何选择AI工具的人都面临琳琅满目的选择和很多确定的建议。评论可能会有帮助，但没有人见过你的任务。这篇笔记描述了一种经得起推敲的选择方法，它基于其来源论文中的一个想法：当多个AI达成一致意见时，这与多个独立证人的证言并不相同。
从评测文章开始，然后在自己的任务上测试
比较文章是合理的第一步。它们展示哪些工具存在、每个工具因何而闻名，以及人们在哪些地方存在分歧。例如，top10ai.com 在其比较文章Claude vs ChatGPT中讨论过Poly Duo，该网站还为想要在不编写代码的情况下构建软件的人维护了一份工具列表：best AI app builder。这样的列表可以告诉你要尝试什么。但它们无法告诉你哪个工具适合你本周实际需要完成的事情。
因此，选择你自己的一个真实任务，足够小以至于你可以自己判断，然后将相同的请求提交给两个或三个工具。一份草稿邮件、一个电子表格公式、一个简短计划、一个小应用程序的第一个版本。然后并排阅读结果。你会看到语气上的差异、每个工具所做的假设，以及它遗漏的内容，这些差异是对你的工作真正重要的地方。
一个自信的答案不一定是正确的答案
该论文提出了一个适用于每一种现有工具的观点。当某人向一个语言模型提问时，他无法区分一个自信却错误的答案和一个自信且正确的答案，因为从表面上看，两者看起来是一样的。向多个模型提问似乎能解决这个问题，但实际上只是转移了问题：如果它们都说同样的话，你现在掌握的是一个自信的文本，它借用了"多个模型同意"的权威性。
原因在于模型共享训练数据和习惯，因此它们的错误是相关的。该论文引用了一项对来自七个模型家族的九位前沿裁判组成的小组进行的测量，结果相当于大约两票独立投票（Kohli, 2026），以及一项发现最好的单个裁判与整个小组相当或超过它的结果。添加更多同类模型不会为你带来太多额外的确定性。参见论文关于一个委员会值多少独立证人的章节和关于上限的章节。
使用可以表示异议的第二个意见
有帮助的是第二个AI，最好来自不同的公司，被允许表示异议。在日常使用中，两个习惯就足够了：
- 要求第二个工具检查第一个答案并说出任何它会改变的地方，而不是要求它确认。
- 保留分歧。如果两个答案不同，那个地方就是需要仔细查看、检查来源或询问人工的地方。
该论文分离了两种收集第二个意见的方法：一种是盲目的，第二个模型看不到第一个答案；另一种是知情的，它能看到。知情的方法可以发现具体的错误，而盲目的方法能让两个答案更加独立。每一种都为另一种做出了权衡，关于盲目和知情引出法的讨论阐述了这种权衡。该论文还指出了自己的局限：合并答案优于最佳单个答案的主张是根据设计和相关工作论证的，且提议的评估尚未进行。
简短检查清单
- 使用评论来列出两个或三个工具的短名单。
- 通过每个工具运行相同的真实任务，并自己比较结果。
- 选择适合您工作的那个，然后要求来自不同公司的工具检查其在任何重要事项上的输出。
- 将协议视为提示，而不是证明，并检查如果错误会带来代价的事实。
Poly Duo 是我们的应用程序，以第二意见习惯为基础构建：来自不同公司的两个 AI 在您的手机上互相检查彼此的工作，因此交叉检查只需轻击一下，而不是复制粘贴。但该方法不依赖于任何一个应用程序。您可以用任何两个工具手动完成，论文准确描述了具体方法。
Vadym Chernets 还开发了 Poly，一个应用程序，其中来自不同公司的 AI 互相检查彼此的工作。