MemPilot：为LLM智能体编排按需多模态记忆管理

记忆已成为LLM智能体生态系统不可或缺的一部分，支持跨交互的信息保留和重用。然而，大多数现有的智能体记忆系统以与查询无关的方式构建记忆，这可能会产生不必要的预处理成本并丢弃后来证明是必要的细节。最近的研究已经开始将记忆处理转向运行时适应，但通常专注于特定操作或固定处理方案，而对性能、成本和延迟的灵活控制在很大程度上尚未得到充分探索。为了应对这一挑战，我们提出了 MemPilot，这是一个灵活的框架，可以在不同的性能-成本-延迟偏好下编排按需记忆管理。具体来说，我们通过强化学习优化多步骤LLM策略，以迭代地选择从与查询无关的记忆检索和将原始多模态历史记录的查询特定管理委托给异构LLM和VLM。 策略共同控制证据量、管理指令、模型选择和视觉访问，从而实现运行时计算的细粒度分配。为了在竞争目标下优化这个策略，我们通过在聚合之前单独估计每个目标的优势来适应按目标分离的优势解耦。此外，我们引入了基于前缀的边际效用估计，用于跨多步骤执行轨迹的细粒度贡献归因。对五个多模态智能体-记忆基准的实验证明了优化偏好之间有利的性能-成本-延迟权衡，偏好扫描产生比现有权衡感知基线更广泛的前沿。