论文

PhysicsLENS:诊断视频生成模型中的物理属性盲目性

PhysicsLENS: Diagnosing Physical Property Blindness in Video Generation Models

模型评测基准与评测资源

摘要

可靠的视频世界模型可以为机器人学习、规划和评估提供可扩展的预测环境。然而,生成的机器人视频可能违反物理原理并通过物理上难以置信的行为完成任务,从而限制了其机器人学习和规划的可靠性。当前的视频生成基准排除了视觉效果本身隐藏的物理特性(例如重量、粘度、摩擦力)。因此,视频模型是根据物理保真度而不是物理的基本准确性来评估的。我们介绍了PhysicsLENS,这是一个用于评估基于机器人技术的物理特性的合理性的数据集和基准。 PhysicsLENS 使用匹配的场景对,这些场景对具有相同的调节框架和任务,同时改变场景描述中的基础物理。场景是根据公共机器人视频源策划的,并在七个物理领域进行了注释:碰撞、重力、动量、摩擦、变形、流体和因果关系。我们评估了四种视频生成模型,生成了 400 多个人工注释的标签。结果显示,看似合理的视频通常会忽略所陈述的属性(47 个中的 34 个),并且陈述该属性只会略微降低可信度,但不会显着降低。