超越检索：多模态Agent的分析型记忆

长期多模态记忆必须不仅支持检索相关的信息，还必须处理在交互过程中积累的观察。现有的系统主要强调检索记忆，通过摘要和索引来组织交互历史，以便在多个粒度（从高层次抽象到底层记录）上返回查询相关的信息。在这篇文章中，我们提出了分析记忆作为互补的抽象，组织重复的多模态观察，支持过滤、聚合、排名和时间比较。我们提出了AdaMM，这是一种同时支持检索和分析记忆的框架。与AdaMM不同，它不依赖于应用定义的模式，而是从对话、图像和上下文元数据中提取属性-值观测，发现重复的字段结构，并为分析提供材料化。在推理时间，一个记忆-aware规划器将查询分解为检索和分析操作，并将每个操作路由到适当的工具。在两个长期多模态记忆基准测试中，MemEye和MemGallery上的实验表明，AdaMM在性能上分别提高了11.3%和7.3%。