论文

GraphMemix:面向长期多模态智能体记忆的查询感知证据森林

GraphMemix: Query-Aware Evidence Forests for Long-Term Multimodal Agent Memory

上下文与知识记忆Agent记忆

摘要

为多模态智能体组织长期记忆仍然具有挑战性,因为现有方法要么受制于与问题无关的昂贵离线摘要,要么使用朴素的嵌入相似度匹配而引入不完整和冗余的上下文。为解决这些问题,我们提出GraphMemix,一个组合优化的图记忆框架,将记忆组织建模为查询感知的证据森林构建。具体而言,我们的方法包含三个关键组件:(1)候选图构建,通过模式和语义关系扩展多视图种子记忆,以获取查询感知的原始上下文;(2)证据效用与激活成本,将直接记忆支持与基于锚点的关系验证解耦,以抑制冗余或冲突信息;(3)森林优化,在最大证据预算下联合选择森林形式的记忆上下文及其可靠的关系结构。通过把记忆组织成与查询相关的子图,该方法避免了大量生命周期成本,并能找回低相似度的互补证据。在四个长期多模态记忆基准上的实验结果表明,在不同基础模型下均有显著提升,并在准确率与生命周期成本之间建立了新的帕累托前沿。

GraphMemix:面向长期多模态智能体记忆的查询感知证据森林:论文配图
图1:GraphMemix 的三阶段概览。(1) 候选图构建使用多视图检索识别种子,并用有界关系扩展揭示其局部上下文。(2) 证据效用与成本将直接节点支持与经 ECV 验证的、锚点条件化的增量关系相结合。(3) 森林优化在最大读取预算下联合选择节点与可信边,然后确定性地序列化所得的证据森林。