PyraVid：用于长视野视频推理的分层多模态记忆

记忆已成为代理系统中越来越重要的组成部分，因为这些系统预计会根据长期经验进行推理。然而，之前的工作主要集中在单模态记忆上，尽管多模态记忆在现实世界的应用中发挥着核心作用，但它的研究相对较少。与单模态设置相比，多模态记忆引入了额外的挑战，包括异构输入集成、以人为中心的信息对齐以及跨不同粒度的证据聚合。我们提出了 PyraVid，一种分层多模态记忆框架，其灵感来自于认知科学的事件分段理论。 PyraVid 将长视频组织成从粗到细的金字塔结构，从而实现结构化记忆访问和有效的证据聚合。它进一步支持通过剪枝进行结构引导的记忆扩展，允许检索具有强因果连接性但语义相似性低的相关事件，同时减少噪声。对多个长视频理解基准的实验表明，PyraVid 持续提高了跨数据集、模型规模和问题类型的性能，突出了分层多模态记忆对于长视野推理的有效性。