用于端到端驾驶安全评估的可控且逼真的行人危险运动生成

在罕见的、安全关键的车辆与行人交互下评估端到端自动驾驶需要逼真的传感器级场景。然而，基于轨迹的场景生成器无法合成原始视觉观察结果，而基于视频的方法缺乏可控性。为了弥补这一差距，我们提出了 ControlPed，这是一种新颖的框架，它将轨迹级冲突合成与 3D 高斯泼溅 (3DGS) 相结合，以生成逼真的、运动可控的安全关键场景。 ControlPed 基于 HazardPed（一个源自 10,352 个交通视频的数据集，其中包括 422 个冲突轨迹、高清地图和 857 个带注释的 3D 人体运动），ControlPed 首先生成冲突轨迹，通过文本条件运动扩散将其提升为 3D 人体运动序列，最后使用可动画的 3DGS 化身渲染多视图传感器观察结果。对 88 个渲染真实场景的安全评估显示，七种领先的端到端驾驶模型性能严重下降，其平均 HDScore 从 88.8 骤降至 47.4，暴露了危险行人行为下的主要故障模式。将发布数据集和测试基准，以促进车辆与行人互动的安全评估。