论文

PhyWorld:用于视频生成的物理忠实世界模型

PhyWorld: Physics-Faithful World Model for Video Generation

模型训练偏好优化

摘要

世界模拟器可以提供安全且可扩展的环境,用于在实际部署之前训练物理人工智能系统。大型视频生成模型正在成为此类模拟器的有前景的基础,因为它们可以生成多样化且真实的视觉未来。然而,将它们用作世界模拟器需要物理上忠实的视频连续,即生成的视频保留调节输入所暗示的物理状态,并以符合基本物理原理的方式演变。我们提出了 PhyWorld,这是一种视频生成世界模型,旨在通过两阶段 后训练 生成时间连贯且物理忠实的场景延续。在第一阶段,我们通过流匹配 微调 改进视频到视频的连续性,鼓励稳定的视觉属性和跨帧的连贯运动动态。在第二阶段,我们使用物理偏好对上的直接偏好优化(DPO)将生成的动力学与物理原理结合起来,引导模型获得具有更高物理合理性的输出。为了评估 PhyWorld,我们使用标准视频质量基准和具有符合法律评分的专用物理 忠实性 基准。实验表明,PhyWorld 提高了视频一致性,在 VBench 上获得了 0.769 的平均得分,而最先进的基准得分为 0.756 或更低。 PhyWorld 还提高了物理合理性,在我们的物理 忠实性 基准测试中平均得分达到 3.09,而最强基线的平均得分为 2.99。这些结果表明,具有连续和物理偏好信号的 后训练 大型视频生成模型可以使它们成为物理 AI 更有效的世界模拟器。