几何一致性的定量视频世界模型评估

生成视频模型越来越多地作为隐式世界模型进行研究，但评估它们是否产生物理上合理的 3D 结构和运动仍然具有挑战性。大多数现有的视频评估流程严重依赖于人类判断或学习的分级机，这可能是主观的，并且对几何故障的诊断能力很弱。我们引入 PDI-Bench（透视畸变指数），这是一种用于审核生成视频中几何一致性的定量框架。给定生成的剪辑，我们通过分割和点跟踪（例如 SAM 2、MegaSaM 和 CoTracker3）获得以对象为中心的观察结果，通过单目重建将它们提升到 3D 世界空间坐标，并计算一组捕获三个故障维度的投影几何残差：尺度深度对齐、3D 运动一致性和 3D 结构刚度。为了支持系统评估，我们构建了 PDI 数据集，涵盖旨在强调这些几何约束的各种场景。在最先进的视频生成器中，PDI 揭示了常见感知指标无法捕获的一致的几何特定故障模式，并为物理物理约束视频生成和物理世界模型的进展提供了诊断信号。我们的代码和数据集可以在 https://pdi-bench.github.io/ 找到。