论文

SafeAlign-VLA:用于风险感知自动驾驶的负增强安全对准框架

SafeAlign-VLA: A Negative-Enhanced Safe Alignment Framework for Risk-Aware Autonomous Driving

模型训练强化学习

摘要

端到端自动驾驶系统在常见场景中表现出色,但在安全关键的长尾情况下却表现不佳。视觉-语言-动作(VLA)模型因其强大的推理能力而前景广阔。然而,大多数基于VLA的方法依赖于正面的专家论证,很少利用负面样本,导致对风险行为和安全边界的理解不足。为了解决这个限制,我们提出了 SafeAlign-VLA,这是一个统一的负增强安全对齐框架,它将负数据纳入监督学习和强化学习中。首先,我们开发了一种反事实安全配对范式,通过反事实推理从风险场景中生成结构化安全标签和反事实积极轨迹。然后,采用两阶段训练策略:负增强监督微调用于失败反馈和轨迹校正,然后是基于锚的群体相对策略优化,使用正负轨迹作为对比锚来引导采样并通过群体相对优势来惩罚高风险行为。 NAVSIM 和 DeepAccident 上的实验验证了所提出的框架。 SafeAlign-VLA 在 NAVSIM v1 测试集上达到 89.1 PDMS,比没有负面数据的基线提高了 1.3%。在 DeepAccident 上,它将碰撞率降低至 3.36%,同时实现了 84.2% 的语言准确率和 85.8% 的风险预测准确率。这些结果证明了所提出的负增强安全对准框架对于安全和稳健的自动驾驶的有效性。