论文

GeoFlip用几何干预构造物理结果翻转的视频基准

GeoFlip: Benchmarking Geometry-Sensitive Physics in Video Generation

模型评测基准与评测资源

摘要

视频生成模型合成真实的运动,但它们能否正确响应初始几何形状的变化?我们推出了 GeoFlip,一个视频生成基准,以几何引起的物理结果翻转为中心。在共享物理设置和文本提示保持固定的情况下,GeoFlip 应用对支撑范围、物体摆放和机制配置施加受控干预,利用对比参考事件构建配对场景,例如保持稳定与跌倒或翻倒。这些对测试模型是否将第一帧中的几何差异转化为正确的物理演化。该基准包括 6 个物理类别的 482 个场景对和 964 个参考视频,通过程序场景构建、物理模拟以及物理事件的数值校验与验证建立参考结果。我们从三个维度评估了 16 个图像到视频生成模型:事件正确性、结构完整性以及与参考视频的相似性。我们与独立视觉语言评委一起检查评估的一致性。在所有模型共有的 442 个条件下,跨任务的平均最高事件正确率为 27.98%,揭示了以几何状态为条件的物理生成的巨大局限性。模型优势因物理机制而异,三个评估维度捕捉不同的能力。典型的失败包括忽略几何变化、产生不正确的物体运动、弯曲刚性物体以及引入附加组件。评委之间的事件正确性等级相关性达到 0.906,结构完整性等级相关性达到 0.929。通过结合受控的几何干预、可验证的物理参考和多维评估,GeoFlip 评估从视觉真实感到以几何为条件的物理一致性的进展。

GeoFlip用几何干预构造物理结果翻转的视频基准:论文配图
图1:看似合理的运动可能遗漏依赖几何的结果。增加悬挑量会使参考结果反转,而Wan2.2-I2V-A14B在两种条件下都生成掉落。0秒处放大展示初始几何,1.5秒处展示结果。