论文
超越二元记忆：具有自适应 Agentic 检索的交互感知多模态记忆，用于多方口语对话
Beyond Dyadic Memory: Interaction-Aware Multimodal Memory with Adaptive Agentic Retrieval for Multi-Party Spoken Conversations
摘要
长期记忆使智能体能够跨会话积累信息和推理，但现有的研究主要集中在二元文本或图像文本对话上，而对多方口头对话的长期记忆尚未得到充分探索。此设置需要保留对话内容、跨会话识别参与者以及保留谁与谁交谈。为此，我们提出了 VoxPolyMem，一种交互感知多模式记忆框架，将增量说话人识别与包含交互记忆、事实记忆和参与者资料的记忆层次结构相结合。我们将检索制定为顺序决策，其中Agent重写查询并根据积累的证据选择检索工具和记忆层以解决信息差距。我们进一步介绍了 Evidence-Gain GRPO (EG-GRPO)，它使用循环信用分配来鼓励补充证据获取。我们还构建了 VoxPolyBench 来评估多方口语对话中的记忆演化、个性化回答、记忆检索和推理、交互推理和归因。 VoxPolyMem 在 VoxPolyBench 上的总分达到 85.0 分，比最强评估基线高出 23.6 分。在 Mem-Gallery 和 H2HMem-Multi 上，它的得分分别为 89.6 和 74.4，分别超出最强评估公共记忆基线 8 分以上。这些结果凸显了其在多方多模式交互中提供持久、个性化协助的潜力。代码和数据集可在 https://voxpolymem.github.io/VoxPolyBench/demo/ 获取