PMMC：长期LVLM Agent的前瞻式多模态记忆编译

长期记忆对于LVLM（语言-视觉机器学习）代理来说是维持一致性并整合跨长时间跨度的多模态交互信息所必需的。然而，现有的代理记忆系统往往将视觉体验简化为文本摘要，或者依赖于静态的检索-然后-推理管道，这些管道在查询时间上是低效的，且在需要图像-文本绑定、时间更新或视觉细节的问题时，它们是脆弱的。我们提出Prospective Multimodal Memory Compilation，这是一个将部分记忆推理过程从查询时间转移到记忆整合时间的框架。给定累积的多模态交互，一个提问者预测未来的问题候选，一个规划者编译问题条件下的多模态记忆程序，以及一个怀疑者验证计划中的证据路径是否支持预测的答案。经过验证的问题-程序对形成一个结构化的问题库，用于在查询时间进行高效的路由和证据检索。在多模态长期记忆基准测试上的实验表明，我们的方法提高了答案质量并减少了查询时间的令牌和延迟成本。广泛的消融实验分析了自反馈、动态规划、原始图像访问和问题库覆盖的影响。