DreamStream：面向策略的端到端驾驶生成模拟

在模拟中忠实地评估端到端驾驶策略需要的观察不仅要逼真，还要保留策略做出决策所依赖的场景特征。然而，现有平台表现出模拟与真实的视觉差距，破坏了政策认知，削弱了它们评估政策闭环决策的能力。为此，我们提出了 DreamStream，这是一种生成式闭环模拟器，它使用基于模拟器的自回归视频模型来实现面向策略的保真度。我们的视频模型是通过流量布局指导从大型预训练视频模型中提取出来的，改变视觉外观，同时保留与策略相关的特征，例如场景布局和动态对象的时间一致性。我们进一步观察到，像 FID 这样的感知指标对这些特征的保存程度进行了错误的排序。为了解决这个问题，我们引入了 FD$\pi$，这是一种新的多表示度量，用于衡量公共 E2E 策略中场景上下文特征上的模拟与真实差距，即 Fréchet 距离。在 FD$\pi$ 下，DreamStream 在 nuScenes 上比之前最强的闭环模拟器提高了 $1.6\times$，在 NAVSIM 上提高了 $4.7\times$，并且对策略的感知可观察性产生的扰动最小。基于 DreamStream，我们构建了 Navhard-CL 基准，它将非反应性的现实世界基准 NAVSIM 转变为具有对抗性驾驶行为和天气变化的交互式测试环境。该基准暴露了许多驾驶策略的失败模式，例如记分者偏差和缺乏恢复行为，这是之前的闭环基准所忽视的。代码和数据可从此 https URL 获取。