论文
HiGMem:用于长期会话代理的分层和 LLM 引导记忆系统
HiGMem: A Hierarchical and LLM-Guided Memory System for Long-Term Conversational Agents
摘要
长期会话 大语言模型 (LLM) 代理需要记忆系统能够从历史交互中恢复相关证据,而不会因为不相关的上下文而淹没答案阶段。然而,现有的记忆系统,包括分层记忆系统,仍然经常仅仅依赖向量相似性进行检索。它往往会产生臃肿的证据集:添加许多表面上相似的对话回合几乎不会产生额外的回忆,但会降低检索精度,增加答案阶段的上下文成本,并使检索到的记忆更难以检查和管理。为了解决这个问题,我们提出了 HiGMem(分层和 LLM 引导记忆系统),这是一种两级事件轮次记忆系统,允许 LLM 使用事件摘要作为语义锚来预测哪些相关轮次值得阅读。这使得模型能够首先检查高级事件摘要,然后关注较小的一组潜在有用的回合,通过推理提供简洁可靠的证据集,同时避免与向量检索相比过高的检索开销。在 LoCoMo10 基准测试中,HiGMem 在五个问题类别中的四个上实现了最佳 F1,并将对抗性 F1 从 A-Mem 的 0.54 提高到 0.78,同时检索的回合数减少了一个数量级。代码可在 https://github.com/ZeroLoss-Lab/HiGMem 上公开获取。