V-Mem：长期多模态Agentic记忆的模态路由检索

用户与语言模型代理之间的交互正变得多模态：对话中同时包含文本和图像，后续问题可能指向文本或图像。然而，大多数代理的记忆设计都围绕文本，甚至少数支持多模态对话的代理也未能解决视觉相关的问题。这种失败归因于他们依赖的相似性搜索背后的假设：在索引空间中，查询与答案其相关证据接近。在多模态设置中，两个差距打破了它。通过模态差距，查询与其模态内容更接近的证据，甚至在经过训练的联合嵌入空间中也是如此，即使证据存在于另一个模态中。通过相似性-相关性差距，与查询最相似的内容往往不是回答它的证据，最明显地当查询包含文本和图像，而其证据与单独部分相似时。我们提出V-Mem，这是一种多模态代理记忆系统，通过查询和目标证据的模态识别来路由检索。为跨越模态差距，V-Mem将对话划分为轮次，并从匹配的轮次返回目标模态内容，而不进行模态之间的比较。为闭合相似性-相关性差距，它使用一个LLM生成的锚点，该锚点比查询更接近相关的证据：对于文本查询，一个假设的文本描述，对于包含文本和图像的查询，一个增强的搜索锚点，包含从查询图像中提取的相关关键词。在Mem-Gallery上，V-Mem的LLM评审得分为0.82，次佳方法为0.56，最大差距在包含图像的问题上（0.87，没有基准超过0.47）；在LoCoMo上，其得分为0.69，次佳方法为0.58。