NVIDIA OmniDreams：用于闭环自动驾驶车辆仿真的实时生成世界模型

随着自动驾驶汽车能力的进步，长尾场景下驾驶策略的安全评估仍然是一个关键瓶颈。在闭环仿真中，驾驶策略模型主动与环境交互，其行为动态更新模拟器状态并直接影响下一组生成的传感器观测结果。虽然最近基于重建的神经模拟器提供了真实感，但它们从根本上受到最初捕获的数据的限制，并且很难推广到高度动态或新颖的场景。为了克服这些限制，我们引入了 OmniDreams，这是一种根据 Cosmos 扩散模型进行中后期训练的基础生成世界模型，用于实时自回归生成动作条件视频。通过利用 Cosmos 和 后训练 在 21,000 小时驾驶场景中的丰富视觉先验，OmniDreams 合成了传统模拟器难以捕捉的复杂、未观察到的现象，例如极端天气和不可预测的动态代理行为。至关重要的是，它会根据过去的帧、当前的模拟器状态和即时驾驶动作来自动调节其真实感传感器生成。 OmniDreams 部署在具有 Alpamayo 1 策略模型和 AlpaSim 协调器的闭环系统中，充当高度响应的反应性环境，为训练和评估下一代自动驾驶策略提供可扩展且全面的解决方案。我们还展示了初步结果，表明从 OmniDreams 进行后训练的世界动作模型 (WAM) 在物理 AI 自动驾驶车辆 NuRec 数据集上取得了强劲的性能，超越了基于 VLA 的 Alpamayo 1.5 研究政策模型，而仅使用了总参数的 1/5。这些结果凸显了像 OmniDreams 这样的实时世界模型也可以作为政策架构支柱的潜力。