ActiveMem：面向长程LLM推理的分布式主动记忆

摘要

内存对于大型语言模型 (LLM) 代理处理长范围推理任务至关重要。现有的记忆机制很大程度上是集中式的，通常在单个模型上下文中组织检索到的信息和交互历史记录。这种设计强加了一个基本的权衡：扩展推理轨迹可能会导致上下文过载，而激进的内容修剪可能会导致不可逆转的信息丢失。为了寻求更好的权衡，我们从人类认知系统中汲取灵感，特别是前额皮质（执行控制）和海马体（记忆管理）之间的功能互补性，表明这种权衡不一定是固有的，而可能源于集中的记忆组织。为此，我们提出了 ActiveMem，一种异构框架，它将代理内存与核心推理过程解耦。具体来说，高级规划器利用提炼的语义要点来执行推理，而轻量级分布式内存系统并行运行，在整个任务中主动积累和巩固这些要点。 BrowseComp-Plus 和 GAIA 上的实验表明，ActiveMem 在显着降低开销的情况下实现了最先进的精度，证明了分布式主动内存对于长视野推理的有效性。

ActiveMem：面向长程LLM推理的分布式主动记忆：论文配图 — 图 3：我们的 ActiveMem 框架概述。 Planner 发出检索查询 𝒬t\mathcal{Q}_{t} 以从外部语料库中调用文档。每个文档与其查询配对以形成内存任务并路由到适当的分片。对于重复的文档，Operator 检查与先前任务的语义相似性：如果相似，则直接返回存储的要点；如果相似，则直接返回存储的要点。否则，Memorizer 会为 Planner 提取新的要点，而 Operator 会异步地将其合并到分片中。这将记忆与推理分离——记忆系统不断地在持久性分片中累积要点，而规划器则在干净、紧凑的提炼上下文中运行。