MemFly：通过信息瓶颈进行动态记忆优化

摘要

长期记忆使大语言模型代理能够通过历史交互来处理复杂的任务。然而，现有框架在有效压缩冗余信息和保持下游任务的精确检索之间遇到了根本性的困境。为了弥补这一差距，我们提出了 MemFly，这是一个基于信息瓶颈原则的框架，可促进大语言模型的动态内存进化。我们的方法最小化压缩熵，同时通过无梯度优化器最大化相关熵，构建分层内存结构以实现高效存储。为了充分利用 MemFly，我们开发了一种混合检索机制，无缝集成语义、符号和拓扑路径，结合迭代细化来处理复杂的多跳查询。综合实验表明，MemFly 在记忆一致性、响应保真度和准确性方面远远优于最先进的基线。

MemCoRe：面向Agent记忆、从渐进压缩的事实知识中恢复证据 — 图1：MemFly 框架概览。左：记忆构建通过语义摄取与门控结构更新来处理输入观察，其中基于 LLM 的优化器执行 Merge、Link 或 Append 操作以最小化 IB 目标。中：记忆状态被组织为分层的 Note-Keyword-Topic 层级，并按照双重聚类原则（double clustering principle）设置关联边。右：记忆检索采用经 Topics、Keywords 与拓扑扩展的三通路搜索，随后针对复杂查询进行迭代证据细化。