学习视频生成的显式物理参数控制和基准测试

图像到视频生成的最新进展提高了视觉真实感，使物理基础和可控动力学成为未来世界模拟的重要一步。当前的模型通常会生成合理的运动，但它并不能由明确的物理原因可靠地控制，并且实例级约束可能会泄漏或陷入多对象交互中。我们将这种差距归因于两个缺失的部分：大规模、细粒度的物理参数化，以及正确地将物理属性绑定到实例并强调动态而非外观的模型设计。为了弥补这一差距，我们引入了 PhyParam-Dataset，这是一个以交互为中心的 130K 物理模拟视频集合，具有密集的物理参数化，包括力矢量、物体材料属性和五种代表性刚体运动类型的环境常数。基于这些数据，我们提出了 PhyParam，一种物理引导的图像到视频扩散模型，通过轻量级物理注意路由机制以对象级力、质量、摩擦、恢复和场景级重力为条件，并通过语义结构特征空间监督进一步改进运动学习。我们还建立了 PhyParam-Bench，这是图像到视频生成中物理定律一致性的基准，具有评估时间动态、空间稳定性和语义-物理对齐的多级协议。实验表明，PhyParam 在保持高视觉保真度的同时提高了物理一致性，推进了图像到视频生成的显式刚体物理参数控制。我们将公开发布数据集、基准测试和代码以支持未来的研究。