原理：视频模型的关系物理测试

评估视频模型中的物理推理很困难，因为绝对运动测量取决于帧速率、对象比例和相机校准，所有这些在生成的视频中通常是不明确或不可用的。我们提出了一种不同的方法。当同一场景中的两个物体遵循相同的物理定律时，它们的运动必须满足可预测的关系，并且这些关系与校准无关。我们引入了 Principia，这是一个通过配对对象之间的关系一致性来评估牛顿物理学的基准。原理涵盖了八种现象——重力、恢复、摩擦、旋转惯性、抛射运动、动量、摆和质量弹簧振荡——跨越平移、旋转、碰撞和振荡动力学，使用在受控协议下记录的真实世界场景。我们还引入了一种独立于校准的一致性分数，可以直接量化图像空间中的物理违规。在六种最先进的视频生成器的数千代中，尽管所有模型在 VBench 上的得分都在 0.8 左右，但在 Principia 上没有一个模型超过 0.42。视觉语言模型根据其检测关系物理违规的能力进行评估，最好的模型仅达到 67% 的准确度，并且大多数模型的表现接近偶然水平。