Wenn das Gedächtnis eines Agenten in spärliche Codes gepresst wird: Einigen sich zwei KIs dann auf dieselbe falsche Antwort?
mit Mohan Bheemadolu · KI-Agenten-Entwickler · Mitautor von FlyHash for LLM agent memory

In einer halben Minute
Mohan Bheemadolu baut Gedächtnis für KI-Agenten. Zusammen mit Dr. Chrisogonas O. Odhiambo hat er FlyHash, das jede Erinnerung als spärlichen Code ablegt, einen langen Vektor, in dem nur wenige „aktive Bits“ eingeschaltet sind, so wie die Nase einer Fruchtfliege Gerüche unterscheidet. Bei gleicher Zahl aktiver Bits (32) ordnet es auf dem synthetischen Benchmark der Autoren die richtigen Erinnerungen etwa 2,5-mal besser ein als die übliche Methode (mAP 0,27 gegenüber 0,11). Bei gleichem Speicherbedarf holt die übliche Methode mit etwa viermal so vielen Bits auf oder liegt vorn, und bei echten Gesprächen ist der Gewinn kleiner.
Unsere Frage: Die Antwort einer KI wird oft von einer zweiten KI geprüft, aber beide lesen dasselbe Gedächtnis. Wenn dieses Gedächtnis den Fakt verfehlt, einigen sich die beiden dann auf dieselbe falsche Antwort?
In unserem ersten Lauf, mit schlichtem Stichwort-Gedächtnis, sah es danach aus: Verfehlte das Gedächtnis den Fakt, waren 45 % der Antworten, auf die sich beide KIs einigten, falsch, gegenüber 3 %, wenn es ihn hatte. Als Nächstes lässt Mohan FlyHash bei vier Codegrößen laufen, und wir prüfen, ob Codes mit weniger aktiven Bits das verschlimmern.
Das Paper
Ein Agent, der sich an frühere Gespräche erinnert, muss sie irgendwo aufbewahren und das richtige Stück schnell wiederfinden. FlyHash borgt sich etwas vom Geruchssinn der Fruchtfliege. Es legt jede Erinnerung als spärlichen Code ab: ein langer Vektor, in dem nur wenige „aktive Bits“ eingeschaltet sind. Der vollständige Code ist trotzdem lang (2.000 Einheiten), er ist beim Speicherbedarf also nicht kleiner als ein SimHash-Code mit derselben Zahl aktiver Bits.
Das Paper ist erfrischend nüchtern. Im Vergleich mit SimHash, der üblichen Art, solche Codes zu bauen, bei gleicher Zahl aktiver Bits (32), auf dem synthetischen, annotierten Benchmark der Autoren, beträgt die mittlere Durchschnittspräzision (mAP) 0,27 für FlyHash gegenüber 0,11 für SimHash. Das ist kein Vergleich des Speicherbedarfs. Ein FlyHash-Code ist spärlich, aber lang (2.000 Einheiten), er braucht also mehr Speicher als ein SimHash-Code mit denselben aktiven Bits. Bei gleichem Speicher holt SimHash mit etwa viermal so vielen Bits FlyHash ein oder schlägt es. Bei echten LoCoMo-Gesprächen ist der Vorteil bei gleichen aktiven Bits kleiner (Recall@10 bei 32 aktiven Bits: etwa 0,32 gegenüber 0,17). Und es sagt offen, wo FlyHash verliert: Ist das Gedächtnis nicht knapp, schlägt ein gewöhnlicher HNSW-Index, die normale Suche in voller Größe, immer noch beide.
Die exakte dichte Suche auf den ungehashten Embeddings bleibt in diesen Tests vor jedem gehashten Code. Bei 128 aktiven Bits liegt FlyHash etwa 0,04 bis 0,05 unter dem dichten Recall@10. SimHash mit 1.024 Bits behält bei Recall@50 etwa 97 % des dichten Recalls. Hashing bringt kompakte Codes, nicht bessere Qualität.
Der Code ist offen: github.com/mohanji/flyhash-agent-memory.
Wie das Gespräch verlief
Es begann in den Kommentaren unter dem Paper auf Hugging Face. Wir fragten, wie die Codes damit klarkommen, wenn eine Frage mit neuen Worten gestellt wird statt nach einer festen Schablone. Mohan sagte, die bisherigen Tests hätten Schablonen benutzt, und fragte, welchen Datensatz wir vorschlagen würden.
Wir schlugen zwei vor, gebaut aus langen, echten Gesprächen über viele Sitzungen: LoCoMo und LongMemEval. Er wählte LoCoMo als Start und LongMemEval danach.
Dann fragten wir, was wir an seinen Codes am meisten wissen wollten: Verlieren Codes mit den wenigsten aktiven Bits bei Fragen zur Zeit („Wann ist sie umgezogen?“) mehr als bei einzelnen Fakten?
Antwort aus der ersten Messung: Auf LoCoMo (MiniLM-Embeddings, mittelwertzentriert, Recall@10) behält FlyHash bei 128 aktiven Bits etwa 0,88 des exakten dichten Recalls bei Multi-Hop-Fragen, 0,90 bei zeitlichen, 0,89 bei Open-Domain- und 0,91 bei Single-Hop-Fragen. Die Unterschiede zu Single-Hop sind klein (Multi-Hop −0,03, zeitlich −0,01), und ihre 95-%-Bootstrap-Intervalle schließen bei 16, 32, 64 und 128 aktiven Bits die Null ein. Es gibt also keinen Hinweis, dass zeitliche Fragen durch das Hashing mehr verlieren als Single-Hop-Fragen. Multi-Hop hat bei jeder Methode, auch der dichten, den niedrigsten absoluten Recall, was auf die Schwierigkeit der Aufgabe hindeutet, nicht auf das Hashing.
Warum das Gedächtnis für zwei sich gegenseitig prüfende KIs zählt
Wenn sich zwei Modelle verschiedener Firmen einig sind, nehmen die Leute das meist als gutes Zeichen. In einem Agenten lesen aber beide Modelle in der Regel dasselbe Gedächtnis. Hat dieses Gedächtnis den Fakt verfehlt, sind sie nicht mehr unabhängig. Sie können sich selbstsicher auf dieselbe falsche Antwort einigen.
Um zu sehen, wie oft das vorkommt, haben wir einen kleinen offenen Check auf LoCoMo gebaut, memory-agreement-check, und ihn einmal mit schlichtem Stichwort-Gedächtnis laufen lassen (BM25, gewöhnliche Stichwortsuche, die obersten 10 Dialogzeilen). GPT und Claude antworteten getrennt, und Kimi bewertete sie blind.
Die Fehler der beiden Modelle kamen fast immer zusammen (eine Korrelation von φ = 0,81). Das ist eine Art Gedächtnis und ein Zufalls-Seed, es zeigt also einen Zusammenhang, keine Ursache. Aber es gibt FlyHash eine scharfe Frage, die es beantworten kann.
Das Experiment, das wir gemeinsam durchführen
Mohan bot an, die Retrieval-Seite zu liefern; ab da übernehmen wir.
- Mohan misst zuerst, wie oft die richtige Erinnerung unter den obersten Treffern landet (Recall@k). Er teilt das nach Art der LoCoMo-Frage auf: einzelne Fakten (Single-Hop), Fakten, die man verknüpfen muss (Multi-Hop), und Fragen zur Zeit (zeitlich). Er lässt FlyHash und SimHash mit 16, 32, 64 und 128 aktiven Bits laufen, mit den obersten 10 Erinnerungen pro Frage, wie im ersten Lauf.
- Wir haben vorgeschlagen, auch die obersten 5 aufzunehmen: Weniger Erinnerungen heißt mehr Fehlgriffe, und das sollte zeigen, wie schnell der Anteil selbstsicher falscher, übereinstimmender Antworten wächst.
- Er schickt die abgerufenen Kontexte als JSONL, eine Zeile pro Frage.
- Wir lassen den Übereinstimmungs-Check auf jeder Datei laufen und schicken ihm die Ergebnisse.
Die Frage, die wir am Ende beantworten: Einigen sich beide KIs mit weniger aktiven Bits öfter auf falsche Antworten, und wächst das bei Fragen zur Zeit am schnellsten?
Wenn ja, hat ein stärker komprimierter Code versteckte Kosten, die eine zweite KI nicht bemerkt. Wenn nein, sieht FlyHash sogar besser aus, als das Paper sagt.
Der Code
Der Check nimmt die Ausgabe jedes beliebigen Retrievers. Eine Zeile pro Frage:
{"qid": "conv-26/0", "memories": [{"text": "[D1:3 | 1:56 pm on 8 May, 2023] Caroline: I went to a LGBTQ support group yesterday...", "dia_id": "D1:3", "score": 0.82}]}Im Repository gibt es bereits ein Beispiel, das diese Kontexte mit den FlyHash- und SimHash-Klassen aus Mohans Code erzeugt:
git clone https://github.com/mohanji/flyhash-agent-memory
pip install numpy sentence-transformers
python examples/flyhash_contexts.py --flyhash-src flyhash-agent-memory/src \
--method flyhash --active-bits 32 --out flyhash-k32.jsonl
python -m memcheck run --backend cli --contexts flyhash-k32.jsonl --memory-name flyhash-k32Dieselben Fragen bei mehreren Codegrößen laufen zu lassen, oder gegen --method dense als Referenz, ergibt den Vergleich.
Was die ersten Zahlen sagen können und was nicht
- Sie stammen von einem Retriever (BM25), einem Modellpaar, einem Richter und einem Seed, bei 200 Fragen. Andere Retriever und Modelle können jede Zahl verschieben.
- Die Fragen, die BM25 verfehlt, sind nicht wie die übrigen: Multi-Hop- und Open-Domain-Fragen werden weit öfter verfehlt. Deshalb vergleichen wir auch innerhalb jeder Art.
- Um eine Ursache zu belegen, müsste man dieselben Fragen einmal mit und einmal ohne die Belege beantworten. FlyHash bei mehreren Codegrößen ist dafür ein natürlicher Schritt: gleiche Fragen, gleiche Modelle, nur das Gedächtnis ändert sich.
- Die FlyHash-Zahlen messen Retrieval, also ob die annotierten Beleg-Turns gefunden werden. Sie messen nicht, ob ein Sprachmodell danach richtig antwortet, und genau das untersucht der Übereinstimmungs-Check.
Zeitverlauf
- FlyHash erscheint auf arXiv (2611.05791), von Mohan Bheemadolu und Chrisogonas O. Odhiambo.
- Das Paper erscheint bei Hugging Face Papers. In den Kommentaren fragen wir nach umformulierten Fragen; Mohan fragt, welchen Datensatz er nehmen soll; wir schlagen LoCoMo und LongMemEval vor, und er wählt zuerst LoCoMo.
- Wir fragen, ob Codes mit weniger aktiven Bits bei Fragen zur Zeit mehr verlieren. Der offene Check läuft zum ersten Mal auf 200 LoCoMo-Fragen, mit einem Beispiel für FlyHash, und wir schicken Mohan die Zahlen.
- Mohan legt den Plan dar: Retrieval-Recall pro Kategorie bei 16, 32, 64 und 128 Bit mit k = 10, Kontexte als JSONL. Wir stimmen zu und ergänzen k = 5.