论文
MemoBench:动态变化环境中的世界建模基准测试
MemoBench: Benchmarking World Modeling in Dynamically Changing Environments
摘要
视频生成模型渴望模拟动态环境,并且现在有几个基准测试可以评估跨帧的内存一致性。然而,大多数仅在目标保持在视野中时评估一致性,而少数迫使物体离开视野的评估静态场景,在遮挡期间没有任何变化。为了弥补这一差距,我们引入了 MemoBench,这是一种在动态变化的环境中围绕消失和重新出现范式构建的诊断基准:目标对象经历物理过程,从视图中消失,并且必须在重新出现时正确恢复其更新状态。我们策划了涵盖合成场景和真实场景的 360 个 真值 剪辑,并设计了一个评估套件,将自动化指标与跨四个诊断支柱的基于 VQA 的评估相结合。对八个最先进模型的评估揭示了有关消失和再现范式下记忆一致性的关键见解和开放挑战。