CARLA-GS：自动驾驶极端案例综合的解耦表示、推理和物理模拟

自动驾驶的安全评估主要是罕见的、安全关键的交互，激励模拟器可以通过逼真的观察故意合成极端情况。极端情况生成本质上是一个涵盖视觉表示、场景推理以及车辆轨迹生成和控制的多源问题。基于先验知识和模型的方法通常专注于孤立的场景或轨迹组件，而基于扩散的方法尝试端到端生成，但仍然难以确保时空一致性和物理真实性。为了将这些方面统一在一个框架内，我们提出了 CARLA-GS，这是一种模块化的极端情况综合管道，它可以解耦视觉表示、语义推理和基于物理的执行，同时保持紧密的跨模块耦合。从真实的驾驶数据开始，我们重建了一个具有附加几何一致约束的可编辑高斯场景。然后，多智能体 LLM 执行场景级推理，以识别风险交互并生成意图级航路点轨迹，而底层运动控制则委托给 CARLA，其中 PID 控制器确保运动学和动态可行性。模拟的车辆状态最终被重新投影到高斯场景中，以进行以自我为中心的渲染。该设计可在统一管道内实现高级语义推理、低级物理可执行运动以及逼真的极端情况生成。 Waymo 开放数据集上的实验在数量和质量上都表明，我们的框架能够实现可控的极端情况生成，并生成符合语义意图和物理可行运动的逼真、时空一致的视频。