论文

Synthius-Mem:受大脑启发的抗幻觉角色记忆,在 LoCoMo 上实现 94.4% 的记忆准确度和 99.6% 的对抗鲁棒性

Synthius-Mem: Brain-Inspired Hallucination-Resistant Persona Memory Achieving 94.4% Memory Accuracy and 99.6% Adversarial Robustness on LoCoMo

上下文与知识记忆Agent记忆

摘要

为人工智能代理提供可靠的、不会产生幻觉的长期记忆仍然是一个悬而未决的问题。 LLM 代理的当前记忆方法——滑动窗口、摘要、基于嵌入的 RAG 和平面事实提取——每种方法都降低了词元成本,但会带来灾难性的信息丢失、语义漂移或有关用户的不受控制的幻觉。结构性原因是架构性的:LoCoMo 基准上的每个已发布的记忆系统都将对话视为原始或轻度概括的对话片段的检索问题,并且没有一个报告对抗性鲁棒性,即拒绝有关用户从未披露的事实的问题的能力。我们推出了 Synthius-Mem,这是一种受大脑启发的结构化角色记忆系统,采用了根本不同的方法。 Synthius-Mem 不是检索所说内容,而是提取有关此人的已知信息:完整的人物角色提取管道将对话分解为六个认知领域(传记、经历、偏好、社交圈、工作、心理测量),对每个领域进行合并和重复数据删除,并通过 CategoryRAG 以 21.79 毫秒的延迟检索结构化事实。在 LoCoMo 基准(ACL 2024,10 个对话,1,813 个问题)上,Synthius-Mem 达到了 94.37% 的准确率,超过了所有已发布的系统,包括 MemMachine(91.69%,未报告对抗分数)和人类表现(87.9 F1)。核心内存事实准确率达到98.64%。对抗稳健性(没有竞争系统报告的抗幻觉指标)达到 99.55%。与全上下文重放相比,Synthius-Mem 将词元消耗减少了约 5 倍,同时实现了更高的准确性。 Synthius-Mem 在 LoCoMo 上取得了最先进的结果,据我们所知,它是唯一一个既超过人类水平性能又具有对抗鲁棒性的角色记忆系统。