论文

C3M:面向长程任务的跨会话多模态记忆维护

C3M: Cross-Session Multimodal Memory Maintenance for Long-Horizon Tasks

上下文与知识记忆Agent记忆

摘要

长程任务需要在有界、查询不可知的记忆预算下保存并在稍后恢复跨会话证据。现有压缩方法可能丢弃细粒度视觉线索,或把语义相似但不兼容的观察混为一谈。我们提出C3M,一种跨会话多模态记忆组织方式,在持久化的源文本-图像证据之上维护一个有界的活跃索引。关系感知更新在保留互补和不相容记录的同时整合安全的冗余。查询时,预算化路由选择有用的索引页并在固定的读取器预算下展开其关联的源证据。这些机制共同建立了一种紧凑、保留溯源的多模态记忆组织,为跨会话长程任务保留了可靠下游推理所需的时间区分和来源链接。代码见链接。

C3M:面向长程任务的跨会话多模态记忆维护:论文配图
图 1:查询盲的多模态记忆所面临的挑战。(a) 相似的记录可能实为不同条目。(b) 压缩可能丢失视觉细节或来源链接。(c) 路由可能使已存储的证据无法被找回。