超越时间线：通过grounding实体传记增强长视频记忆

回答有关长视频的问题通常需要将涉及同一对象的事件在数小时或数天内联系起来。按时间顺序的描述和文本衍生的实体可能会使物理身份无法解决：不同的对象可能共享一个描述，而对同一对象的观察在不同事件之间保持断开连接。因此，检索相关事件并不一定能恢复问题所涉及的特定实体的“传记”。为了解决这个问题，我们引入了grounding实体传记（GEB），这是一种长视频记忆框架，它将跨剪辑的同一物理实例的视觉grounding观察分组为可检索的传记，同时保留每个时刻的上下文。在回答问题的过程中，传记与情景证据一起被检索，允许模型使用记忆构建过程中建立的身份链接来跟踪实体的事件。对四个基准的评估，包括一天和一周的记录，表明在多项选择和开放式问答方面比以前的记忆框架有所改进。在 EgoLifeQA 上，GEB 的准确率达到 72.0%，比已发布的最佳结果高出 4.4 个百分点。消融表明，扎根的身份联想和传记阅读都有助于收益，仅靠额外的描述并不能完全恢复。