EgoMemReason：用于长期自我中心视频理解的记忆驱动推理基准

下一代视觉助理，例如智能眼镜、实体代理和始终在线的生活记录系统，必须对一整天或更长时间的连续视觉体验进行推理。在超长视频中，相关信息在几小时或几天内稀疏分布，这使得记忆成为一项根本挑战：模型必须随着时间的推移积累信息、回忆先前的状态、跟踪时间顺序和抽象重复模式。然而，现有的为期一周的视频基准主要是为感知和识别而设计的，例如时刻本地化或全局总结，而不是需要整合多天证据的推理。为了解决这一差距，我们推出了 EgoMemReason，这是一个通过内存驱动推理进行为期一周的以自我为中心的视频理解的综合基准。 EgoMemReason 评估三种互补的记忆类型：实体记忆，跟踪对象状态在几天内如何演变和变化；事件记忆、回忆和排序活动，间隔数小时或数天；和行为记忆，从整周的稀疏、重复观察中提取重复出现的模式。 EgoMemReason 包含 500 个问题，涉及三种记忆类型和 6 个核心挑战，每个问题平均有 5.1 个视频证据片段和 25.9 小时的记忆回溯。我们在 MLLM 和代理框架的 17 种方法上评估了 EgoMemReason，结果表明即使是最好的模型也只能达到 39.6% 的总体准确度。进一步的分析表明，这三种记忆类型由于不同的原因而失败，并且随着证据跨越更长的时间范围，表现会下降，这表明长范围记忆仍然远未得到解决。我们相信 EgoMemReason 为评估和推进长上下文、记忆感知多模式系统奠定了坚实的基础。