论文
PerceptDrive:感知先行世界动作建模与自适应专家路由,用于端到端自动驾驶
PerceptDrive: Perception Prior World-Action Modeling with Adaptive Expert Routing for End-to-End Autonomous Driving
摘要
冻结的感知基础模型编码丰富的几何、语义和动态知识。然而,狭窄的调节界面可能会减弱与任务相关的线索,而静态融合无法调整专家对每个场景的贡献。我们将这一挑战视为先于计划的传输问题,并引入 PerceptDrive,这是一种具有自适应专家路由的感知先验世界动作建模框架。 PerceptDrive 将来自冻结的、适合驾驶的提供者的教师提炼的先验信息和来自冻结的自监督视频编码器的密集观察潜值馈送到可训练的专家路由的世界动作模型中。专家特定的查询分支处理这些信号,而先验保留目标将每个分支锚定到其先验。路由器根据共享场景表示来预测软门,并在生成轨迹之前结合专家条件。在训练期间,针对特定于分支的轨迹草稿的基于特权规则的子度量估计提供了软门 蒸馏 目标。预测的无动作未来潜在条件是流量匹配参与者。据推断,特权组件不存在; PerceptDrive 使用一个前置摄像头,为每个规划步骤生成一个轨迹,无需测试时评分、重新排名或搜索。实验表明,PerceptDrive 在 NAVSIM v1 上实现了 90.4 PDMS,在 NAVSIM v2 上实现了 90.2 EPDMS,达到了最先进的性能,优于现有方法。消融确认了先前保留和场景条件路由的互补收益,以及对三个先验的不同依赖。这些结果表明,保留和自适应路由感知先验可以改善直接规划,而无需选择测试时候选者。