论文

具有快速写入路由和慢速整合的双层代理内存

Dual-Layer Agentic Memory with Fast Write Routing and Slow Consolidation

上下文与知识记忆Agent记忆

摘要

大语言模型 (LLM) 代理在知识不断发展的动态环境中运行。现有的存储系统通常将外部存储器视为单调增长的存储库,这不可避免地导致检索性能下降并随着时间的推移增加计算成本。我们认为,核心挑战不仅仅是检索,而是管理知识生命周期:决定外化、更新或最终内化什么。受神经科学中的补充学习系统(CLS)理论的启发,我们提出了双层代理记忆,这是一个通过成本感知认知路由和定期参数整合将内存管理转移到写入阶段的框架。传入信息被分类为非写入、写入新或写入更新,并通过从小到大的模型级联进行路由,该模型级联可最大限度地减少路由开销,同时过滤冗余内存。随后的写回阶段通过受监督的 微调 有选择地将高价值外部存储器合并到模型参数中。实验证明了我们方法的双重效率:1.7B/8B 级联修剪了高达 68% 的冗余外部存储器,同时升级了不到 50% 的输入,但保留了通过详尽的保留基线实现的超过 98% 的下游 QA 精确匹配 (EM)。我们进一步表明,定期整合成功地内化了外部知识,使路由器能够随着模型认知边界的演变而自适应地抑制冗余写入。总的来说,我们的框架为主体记忆提供了一个统一的范式:选择性外化,然后选择性内化。代码和数据集将在接受后发布。