공동 연구

에이전트의 메모리를 희소 코드로 압축하면, 두 AI가 같은 오답에 동의하게 될까?

함께: Mohan Bheemadolu · AI 에이전트 개발자 · FlyHash for LLM agent memory 공저자

일러스트: 몇 개의 비트만 켜진 희소 코드로 압축되는 기억 보관소 위의 초파리. 청록색과 보라색 램프 두 개가 한 조각이 빠진 같은 코드 카드를 비추며 같은 서랍을 가리킨다.

30초 요약

Mohan Bheemadolu는 AI 에이전트의 메모리를 만듭니다. Chrisogonas O. Odhiambo 박사와 함께 FlyHash를 썼는데, 각 기억을 희소 코드, 즉 "활성 비트" 몇 개만 켜진 긴 벡터로 저장하는 방법으로, 초파리의 코가 냄새를 구분하는 방식과 닮았습니다. 활성 비트 수가 같은 조건(32)에서, 저자들의 합성 벤치마크로는 보통 쓰는 방법보다 올바른 기억을 약 2.5배 더 잘 상위에 올립니다(mAP 0.27 대 0.11). 저장 용량이 같으면 보통 쓰는 방법이 비트 수를 약 4배로 두었을 때 FlyHash와 비슷하거나 더 낫고, 실제 대화에서는 그 이점이 더 작습니다.

우리의 질문은 이겁니다. AI의 답을 두 번째 AI가 검증하는 일은 흔한데, 둘 다 같은 메모리를 읽습니다. 그 메모리가 사실을 놓치면, 두 AI가 같은 오답에 동의하기 시작할까요?

평범한 키워드 메모리로 한 첫 실행에서는 그런 걸로 보였습니다. 메모리가 사실을 놓쳤을 때는 두 AI가 동의한 답의 45%가 틀렸고, 사실이 있었을 때는 3%였어요. 다음으로 Mohan이 FlyHash를 코드 크기 네 가지로 돌리고, 우리는 활성 비트가 적을수록 이게 더 심해지는지 확인합니다.

YouTube에서 보기

논문

과거의 대화를 기억하는 에이전트는 그걸 어딘가에 두고 필요한 대목을 빨리 찾아야 합니다. FlyHash는 초파리의 후각에서 아이디어를 가져왔어요. 각 기억을 희소 코드로 저장하는데, "활성 비트" 몇 개만 켜진 긴 벡터입니다. 전체 코드는 여전히 길어서(2,000개 단위) 저장 용량으로는 활성 비트 수가 같은 SimHash 코드보다 작지 않습니다.

논문은 반가울 만큼 담백합니다. 이런 코드를 만드는 보통 방식인 SimHash와 비교하면, 활성 비트 수가 같은 조건(32)에서 저자들의 합성 레이블 벤치마크로 평균 정밀도(mAP)는 FlyHash가 0.27, SimHash가 0.11입니다. 이것은 저장 용량 비교가 아닙니다. FlyHash 코드는 희소하지만 길어서(2,000개 단위) 활성 비트 수가 같은 SimHash 코드보다 저장 공간을 더 씁니다. 저장 용량이 같으면 비트 수가 약 4배인 SimHash가 FlyHash와 비슷하거나 더 낫습니다. 실제 LoCoMo 대화에서는 활성 비트 수를 맞췄을 때의 이점이 더 작습니다(활성 비트 32개에서 recall@10: 약 0.32 대 0.17). 그리고 FlyHash가 어디서 지는지도 솔직하게 적었습니다. 메모리에 여유가 있을 때는 표준 HNSW 인덱스, 그러니까 보통의 풀사이즈 검색이 여전히 둘 다 앞섭니다.

이 테스트에서 해시하지 않은 임베딩에 대한 정확한 밀집 검색은 모든 해시 코드보다 계속 앞섭니다. 활성 비트 128개에서 FlyHash는 밀집 recall@10보다 약 0.04에서 0.05 낮습니다. 1,024비트 SimHash는 recall@50에서 밀집 recall의 약 97%를 유지합니다. 해싱으로 얻는 것은 압축된 코드이지, 더 나은 품질이 아닙니다.

코드는 공개되어 있습니다. github.com/mohanji/flyhash-agent-memory.

일러스트: 기억의 줄들이 모래시계 모양의 압착기를 지나 몇 개의 비트만 켜진 희소한 띠가 되어 나오고, 램프 두 개가 아래 서랍을 읽는다.
많은 기억이 들어가고 희소 코드가 나온다: FlyHash의 아이디어.

대화는 이렇게 흘러갔다

시작은 Hugging Face의 논문 아래 댓글이었습니다. 질문이 정해진 틀이 아니라 새로운 말로 들어오면 코드가 어떻게 버티는지 물었어요. Mohan은 지금까지 테스트는 틀에 맞춘 문장이었다고 하면서, 어떤 데이터셋이 좋겠느냐고 되물었습니다.

우리는 여러 세션에 걸친 길고 실제적인 대화로 만든 두 가지, LoCoMo와 LongMemEval을 제안했습니다. 그는 LoCoMo부터 시작하고 LongMemEval은 그다음에 하기로 했어요.

그러고 나서 우리가 가장 궁금했던 걸 물었습니다. 활성 비트가 가장 적은 코드는 하나의 사실을 묻는 질문보다 시간에 대한 질문("그녀는 언제 이사했지?")에서 더 많이 잃을까요?

첫 측정의 답: LoCoMo(MiniLM 임베딩, 평균 중심화, recall@10)에서 활성 비트 128개일 때 FlyHash는 정확한 밀집 recall의 multi-hop 질문에서 약 0.88, temporal에서 0.90, open-domain에서 0.89, single-hop에서 0.91을 유지합니다. single-hop과의 차이는 작고(multi-hop −0.03, temporal −0.01), 이들의 95% 부트스트랩 구간은 활성 비트 16, 32, 64, 128개 모두에서 0을 포함합니다. 따라서 시간에 대한 질문이 single-hop 질문보다 해싱으로 더 많이 잃는다는 증거는 없습니다. multi-hop은 밀집을 포함한 모든 방법에서 절대 recall이 가장 낮은데, 이는 해싱이 아니라 과제의 난이도를 가리킵니다.

서로를 검증하는 두 AI에게 메모리가 중요한 이유

서로 다른 회사의 두 모델이 같은 답에 동의하면 보통은 좋은 신호로 봅니다. 하지만 에이전트에서는 두 모델이 대개 같은 메모리를 읽습니다. 그 메모리가 사실을 놓쳤다면 더는 독립적이지 않아요. 같은 오답에 자신 있게 동의할 수 있습니다.

이런 일이 얼마나 자주 생기는지 보려고, 우리는 LoCoMo 위에서 돌리는 작은 공개 검사 memory-agreement-check를 만들었고, 평범한 키워드 메모리(BM25, 보통의 키워드 검색으로 대화 상위 10줄을 가져옴)로 한 번 돌렸습니다. GPT와 Claude가 따로 답했고, Kimi가 블라인드로 채점했습니다.

63개 중 2개메모리에 근거가 모두 있었을 때 동의한 답이 틀린 경우 (3%)
33개 중 15개메모리가 근거 일부를 놓쳤을 때 동의한 답이 틀린 경우 (45%)
40% 대 20%같은 질문에서 두 모델이 둘 다 틀린 비율. 실수가 서로 무관하다면 20%

두 모델의 실수는 거의 늘 함께 나왔습니다(상관계수 φ = 0.81). 다만 메모리 종류도, 무작위 시드도 하나뿐이라 연관성일 뿐 원인은 아닙니다. 그래도 FlyHash가 답할 만한 날카로운 질문을 하나 만들어 줍니다.

우리가 함께 진행하는 실험

Mohan이 검색 쪽을 맡겠다고 했고, 그다음은 우리가 이어받습니다.

Mohan 쪽 LoCoMo 긴 대화 FlyHash와 SimHash 16 · 32 · 64 · 128비트 상위 k개 기억 k = 10, k = 5, JSONL 우리 쪽 GPT Claude 같은 메모리, 따로 답함 블라인드 심사자 제3의 회사 구하는 답 동의했는데 틀린 비율, 코드 크기별 단일 홉 다중 홉 시간
Mohan의 FlyHash가 메모리를 만들고, 첫 실행과 같은 검사가 그 때문에 두 AI가 얼마나 자주 같은 오답에 동의하는지 측정합니다.
  1. Mohan이 먼저 올바른 기억이 상위 결과 안에 들어오는 비율(recall@k)을 측정합니다. LoCoMo 질문 유형별로 나눠서요. 사실 하나를 묻는 질문(단일 홉), 사실을 이어야 하는 질문(다중 홉), 시간에 관한 질문(시간)입니다. FlyHash와 SimHash를 활성 비트 16, 32, 64, 128개로 돌리고, 첫 실행과 똑같이 질문당 상위 10개 기억을 씁니다.
  2. 우리는 상위 5개도 추가하자고 제안했습니다. 기억이 적을수록 놓치는 일이 늘 테고, 자신 있게 틀린 동의 답의 비율이 얼마나 빨리 커지는지 드러날 것입니다.
  3. 그가 검색된 문맥을 질문당 한 줄씩 JSONL로 보냅니다.
  4. 우리는 각 파일에 일치 검사를 돌려 결과를 그에게 보냅니다.

마지막에 답하려는 질문은 이겁니다. 활성 비트가 줄어들수록 두 AI가 같이 틀린 답에 동의하는 일이 더 잦아지는가, 그리고 시간에 관한 질문에서 가장 빨리 늘어나는가?

그렇다면 더 압축된 코드에는 두 번째 AI도 못 잡는 숨은 비용이 있다는 뜻입니다. 아니라면 FlyHash는 논문이 말하는 것보다도 더 좋아 보입니다.

코드

이 검사는 어떤 리트리버의 출력이든 받습니다. 질문당 한 줄입니다.

{"qid": "conv-26/0", "memories": [{"text": "[D1:3 | 1:56 pm on 8 May, 2023] Caroline: I went to a LGBTQ support group yesterday...", "dia_id": "D1:3", "score": 0.82}]}

저장소에는 Mohan의 코드에 있는 FlyHash와 SimHash 클래스로 이런 문맥을 만드는 예제가 이미 들어 있습니다.

git clone https://github.com/mohanji/flyhash-agent-memory
pip install numpy sentence-transformers
python examples/flyhash_contexts.py --flyhash-src flyhash-agent-memory/src \
  --method flyhash --active-bits 32 --out flyhash-k32.jsonl
python -m memcheck run --backend cli --contexts flyhash-k32.jsonl --memory-name flyhash-k32

같은 질문을 여러 코드 크기로 돌리거나 기준선으로 --method dense를 돌려 보면 비교가 됩니다.

첫 숫자가 말해 줄 수 있는 것과 없는 것

  • 이 숫자들은 리트리버 하나(BM25), 모델 한 쌍, 심사자 하나, 시드 하나로 200개 질문에서 나왔습니다. 다른 리트리버와 모델이라면 모든 숫자가 움직일 수 있습니다.
  • BM25가 놓치는 질문은 나머지와 성격이 다릅니다. 다중 홉과 오픈 도메인 질문이 훨씬 더 자주 놓치거든요. 그래서 유형 안에서도 따로 비교합니다.
  • 원인까지 증명하려면 같은 질문에 근거가 있을 때와 없을 때로 한 번씩 답하게 해야 합니다. 여러 코드 크기로 돌리는 FlyHash는 거기로 가는 자연스러운 한 걸음입니다. 질문도 모델도 같고, 바뀌는 건 메모리뿐이니까요.
  • FlyHash의 숫자는 검색, 즉 주석이 달린 근거 발화 턴이 찾아지는지를 측정합니다. 그 뒤에 언어 모델이 올바르게 답하는지는 측정하지 않으며, 그것은 일치 검사가 다루는 부분입니다.

타임라인

  1. Mohan Bheemadolu와 Chrisogonas O. Odhiambo가 FlyHash를 arXiv(2611.05791)에 공개합니다.
  2. 논문이 Hugging Face Papers에 올라옵니다. 댓글에서 우리는 말을 바꿔 표현한 질문에 대해 묻고, Mohan은 어떤 데이터셋을 쓰면 좋겠느냐고 되묻습니다. 우리가 LoCoMo와 LongMemEval을 제안했고, 그는 LoCoMo를 먼저 고릅니다.
  3. 활성 비트가 적은 코드가 시간에 관한 질문에서 더 많이 잃는지 우리가 묻습니다. 공개 검사가 LoCoMo 질문 200개로 처음 돌아가고 FlyHash 예제도 함께 마련되며, 우리는 Mohan에게 숫자를 보냅니다.
  4. Mohan이 계획을 정리합니다. k = 10에서 16, 32, 64, 128비트별 카테고리 검색 재현율을 구하고, 문맥은 JSONL로 보냅니다. 우리는 동의하며 k = 5를 더합니다.

← 모든 공동 연구 · 공동 연구 제안하기