在具有挑战性的轨迹下建立物理一致的驾驶视频世界模型

视频生成模型作为自动驾驶模拟的世界模型已显示出强大的潜力。然而，现有的方法主要是在现实世界的驾驶数据集上进行训练，这些数据集大多包含自然和安全的驾驶场景。因此，当前的模型在遇到具有挑战性或反事实的轨迹（例如模拟器或规划系统生成的不完美轨迹）时经常会失败，从而生成具有严重物理不一致和伪影的视频。为了解决这一限制，我们提出了 PhyGenesis，这是一种世界模型，旨在生成具有高视觉保真度和强物理一致性的驾驶视频。我们的框架由两个关键组件组成：（1）物理条件生成器，将潜在无效的轨迹输入转换为物理上合理的条件；（2）物理增强视频生成器，在这些条件下生成高保真多视图驾驶视频。为了有效地训练这些组件，我们构建了一个大规模的、物理丰富的异构数据集。具体来说，除了真实世界的驾驶视频之外，我们还使用 CARLA 模拟器生成各种具有挑战性的驾驶场景，从中我们得出监督信号，指导模型在极端条件下学习具有物理依据的动力学。这种具有挑战性的轨迹学习策略可以实现轨迹校正并促进物理一致的视频生成。大量实验表明，PhyGenesis 始终优于最先进的方法，尤其是在具有挑战性的轨迹上。我们的项目页面位于：https://wm-research.github.io/PhyGenesis/。