合作研究

当智能体的记忆被压成稀疏编码,两个 AI 会不会在同一个错误答案上达成一致?

与 Mohan Bheemadolu · AI 智能体开发者 · FlyHash for LLM agent memory 的合著者

插图:一只果蝇悬停在记忆档案上方,记忆被压缩成只亮着几个比特的稀疏码;青色和紫色两盏台灯照着同一张缺了一块的编码卡片,并指向同一个抽屉。

半分钟读完

Mohan Bheemadolu 做的是 AI 智能体的记忆。他和 Chrisogonas O. Odhiambo 博士一起写了 FlyHash,它把每条记忆存成稀疏编码:一个很长的向量,里面只有少数几个"活跃位"是打开的,思路像果蝇的鼻子分辨气味那样。在活跃位数相同(32)的情况下,在作者们的合成基准上,它把正确记忆排得比常用方法好大约 2.5 倍(mAP 0.27 对 0.11)。在存储量相同时,位数约为四倍的常用方法能追平或超过它,而在真实对话上优势更小。

我们的问题是:一个 AI 的答案常常由第二个 AI 来核查,可两个 AI 读的是同一份记忆。要是这份记忆漏掉了关键事实,这两个 AI 会不会开始在同一个错误答案上达成一致?

第一次运行用的是普通的关键词记忆,看起来是会的:记忆漏掉事实时,两个 AI 一致同意的答案里有 45% 是错的;记忆里有这个事实时,只有 3%。接下来 Mohan 会在四种编码长度下跑 FlyHash,我们看活跃位越少,这个问题是不是越严重。

在 YouTube 上观看

这篇论文

一个会记住过往对话的智能体,得把它们存在某个地方,还得能很快找到合适的那一段。FlyHash 借鉴了果蝇的嗅觉:它把每条记忆存成稀疏编码,也就是一个很长的向量,里面只有少数几个"活跃位"是打开的。完整的编码仍然很长(2,000 个单元),所以在存储上并不比活跃位数相同的 SimHash 编码更小。

这篇论文写得平实得让人耳目一新。与 SimHash(做这类编码的常用办法)相比,在活跃位数相同(32)时,在作者们带标注的合成基准上,FlyHash 的平均精度(mAP)是 0.27,SimHash 是 0.11。这不是存储量的比较。FlyHash 的编码稀疏但很长(2,000 个单元),所以比活跃位相同的 SimHash 编码占用更多存储。在存储量相同时,位数约为四倍的 SimHash 能追平或超过 FlyHash。在真实的 LoCoMo 对话上,活跃位相同时的优势更小(32 个活跃位下的 recall@10:约 0.32 对 0.17)。它还直接写明了 FlyHash 输在哪儿:记忆空间不紧张的时候,标准的 HNSW 索引(普通的、全尺寸的那种搜索)还是比两者都强。

在这些测试中,对未经哈希的嵌入做精确稠密检索,仍然领先于所有哈希编码。在 128 个活跃位时,FlyHash 比稠密的 recall@10 低约 0.04 到 0.05。1,024 位的 SimHash 在 recall@50 上保留了约 97% 的稠密 recall。哈希换来的是紧凑的编码,而不是更好的质量。

代码是开放的:github.com/mohanji/flyhash-agent-memory。

插图:一排排记忆穿过沙漏形的压机,出来时变成只亮着几个比特的稀疏条;两盏台灯在下方的抽屉里读取。
大量记忆进去,稀疏码出来:FlyHash 的思路。

交流是怎么展开的

一切始于 Hugging Face 上这篇论文下面的评论。我们问,问题换了种说法、不再是固定模板的时候,这些编码还顶不顶用。Mohan 说,到目前为止的测试用的都是模板,并问我们建议用哪个数据集。

我们推荐了两个由真实的、跨很多轮的长对话构成的数据集:LoCoMo 和 LongMemEval。他决定先做 LoCoMo,之后再做 LongMemEval。

接着我们问了最想知道的一件事:活跃位最少的编码在涉及时间的问题("她是什么时候搬家的?")上,会不会比在单一事实的问题上损失更多?

第一次测量给出的答案:在 LoCoMo 上(MiniLM 嵌入,均值中心化,recall@10),128 个活跃位时,FlyHash 在多跳问题上保留了精确稠密 recall 的约 0.88,在时间类问题上是 0.90,开放域是 0.89,单跳是 0.91。与单跳的差距很小(多跳 −0.03,时间类 −0.01),它们的 95% bootstrap 区间在 16、32、64 和 128 个活跃位时都包含零。所以没有证据表明时间类问题比单跳问题因哈希损失更多。多跳在所有方法(包括稠密)下的绝对 recall 都最低,这指向任务本身的难度,而不是哈希。

为什么记忆对互相核查的两个 AI 很重要

两家不同公司的模型意见一致,人们通常觉得这是好兆头。可在智能体里,两个模型往往读的是同一份记忆。要是这份记忆漏掉了那个事实,它们就不再相互独立了,可能信心十足地,在同一个错误答案上取得一致。

为了看看这种情况有多常见,我们在 LoCoMo 上搭了一个小型的公开检查,memory-agreement-check,并用普通的关键词记忆跑了一次(BM25,就是常规的关键词搜索,取前 10 条对话)。GPT 和 Claude 分别作答,Kimi 盲评打分。

63 个里 2 个记忆包含全部证据时,一致的答案中有错的(3%)
33 个里 15 个记忆漏掉了部分证据时,一致的答案中有错的(45%)
40% 对 20%两个模型在同一道题上都答错的比例;如果它们的错误互不相关,应该是 20%

两个模型的错误几乎总是一起出现(相关系数 φ = 0.81)。不过这只是一种记忆、一个随机种子,所以说明的是有关联,不是因果。但它给 FlyHash 提出了一个很尖锐的问题。

我们正在一起做的实验

Mohan 提出由他负责检索这一侧;其余由我们接手。

Mohan 这边 LoCoMo 长对话 FlyHash 和 SimHash 16 · 32 · 64 · 128 位 top-k 记忆 k = 10 和 k = 5,JSONL 格式 我们这边 GPT Claude 分别作答,记忆相同 盲评者 第三家公司 答案 一致且错误, 按编码长度 单跳 多跳 时间类
Mohan 的 FlyHash 构建记忆;与第一次运行相同的检查,用来测量两个 AI 因此在错误答案上达成一致的频率。
  1. Mohan 先测正确的记忆有多常落在前几条结果里(recall@k)。他按 LoCoMo 的问题类型拆开:单一事实(单跳)、需要把几个事实连起来的(多跳)、涉及时间的(时间类)。他用 16、32、64 和 128 个活跃位跑 FlyHash 和 SimHash,每个问题取前 10 条记忆,和第一次运行一样。
  2. 我们建议再加上前 5 条:记忆条数更少意味着更多漏检,这应该能显示出"信心十足却答错的一致答案"的占比增长得有多快。
  3. 他把检索出来的上下文以 JSONL 发给我们,每个问题一行。
  4. 我们在每个文件上运行一致性检查,并把结果发给他。

最后我们要回答的问题是:活跃位越少,两个 AI 一致同意却答错的情况是不是越多?涉及时间的问题是不是涨得最快?

如果是,说明更压缩的编码有一种隐藏的代价,第二个 AI 是查不出来的。如果不是,FlyHash 看起来比论文说的还要好。

代码

这个检查可以接收任何检索器的输出。每个问题一行:

{"qid": "conv-26/0", "memories": [{"text": "[D1:3 | 1:56 pm on 8 May, 2023] Caroline: I went to a LGBTQ support group yesterday...", "dia_id": "D1:3", "score": 0.82}]}

仓库里已经有一个示例,用 Mohan 代码中的 FlyHash 和 SimHash 类来生成这些上下文:

git clone https://github.com/mohanji/flyhash-agent-memory
pip install numpy sentence-transformers
python examples/flyhash_contexts.py --flyhash-src flyhash-agent-memory/src \
  --method flyhash --active-bits 32 --out flyhash-k32.jsonl
python -m memcheck run --backend cli --contexts flyhash-k32.jsonl --memory-name flyhash-k32

在多种编码长度下跑同样的问题,或者以 --method dense 作为参照,就能得到对比。

最初的数字能说明什么、不能说明什么

  • 它们来自一个检索器(BM25)、一对模型、一个评判者和一个随机种子,共 200 个问题。换成别的检索器和模型,每个数字都可能变动。
  • BM25 漏掉的问题和其他问题不一样:多跳和开放域的问题漏得多得多。所以我们也在每种类型内部做比较。
  • 要证明因果,就得把同样的问题,有证据和没有证据各回答一遍。在多种编码长度下测 FlyHash 是朝这个方向自然的一步:问题相同,模型相同,只有记忆变化。
  • FlyHash 的数字衡量的是检索,也就是带标注的证据轮次是否被找到。它们不衡量语言模型随后是否答对,而那正是一致性检查所研究的。

时间线

  1. Mohan Bheemadolu 和 Chrisogonas O. Odhiambo 在 arXiv(2611.05791)上发布了 FlyHash。
  2. 论文出现在 Hugging Face Papers 上。我们在评论里询问被改写的问题;Mohan 问该用哪个数据集;我们建议了 LoCoMo 和 LongMemEval,他先选了 LoCoMo。
  3. 我们问活跃位更少的编码在涉及时间的问题上是否损失更多。公开检查首次在 200 个 LoCoMo 问题上运行,并附带了一个 FlyHash 示例,我们把数字发给了 Mohan。
  4. Mohan 列出了计划:按类别测量 16、32、64 和 128 位下、k = 10 时的检索召回,上下文以 JSONL 提供。我们同意,并加上 k = 5。

← 所有合作 · 提议一项合作