论文

SimpleMem:面向LLM Agent的高效终身记忆

SimpleMem: Efficient Lifelong Memory for LLM Agents

上下文与知识记忆Agent记忆

摘要

为了支持复杂环境中可靠的长期交互,LLM 代理需要能够有效管理历史经验的内存系统。现有方法要么通过被动上下文扩展保留完整的交互历史,导致大量冗余,要么依靠迭代推理来过滤噪音,从而产生高昂的token成本。为了应对这一挑战,我们引入了 SimpleMem,一种基于语义无损压缩的高效内存框架。我们提出了一个旨在最大化信息密度和token利用率的三阶段管道:(1)\textit{语义结构化压缩},它应用熵感知过滤将非结构化交互提炼成紧凑的多视图索引内存单元; (2) \textit{递归内存整合},一个异步过程,将相关单元集成到更高级别的抽象表示中以减少冗余; (3) \textit{自适应查询感知检索},它根据查询复杂性动态调整检索范围,以有效地构建精确的上下文。在基准数据集上的实验表明,我们的方法在准确性、检索效率和推理成本方面始终优于基线方法,实现了 26.4% 的平均 F1 改进,同时将推理时间token消耗减少了多达 30 倍,展示了性能和效率之间的卓越平衡。代码可在 https://github.com/aiming-lab/SimpleMem 获取。

SimpleMem:面向LLM Agent的高效终身记忆 配图
图 2:SimpleMem 架构。SimpleMem 通过三个阶段缓解上下文膨胀。(1) 语义结构化压缩(Semantic Structured Compression)过滤冗余的交互内容,并将原始对话重写为紧凑的、与上下文无关的记忆单元。(2) 递归巩固(Recursive Consolidation)将相关记忆单元增量地组织为更高层的抽象表示,减少长期记忆中的冗余。(3) 自适应查询感知检索(Adaptive Query-Aware Retrieval)根据查询复杂度动态调整检索范围,在受限的 token 预算下实现高效的上下文构建。