论文
Lagrange:面向广义端到端驾驶的开词表能量稀疏框架
Lagrange: An Open-Vocabulary, Energy-Based Sparse Framework for Generalized End-to-End Driving
摘要
把端到端自动驾驶扩展到复杂开放世界环境——要求能泛化到异常场景的感知模型与产出运动学有效轨迹的规划器。既有范式面临表征效率与泛化能力的鲜明二分。稠密模型(如占用网络)几何稳健——但带来关键计算瓶颈——且高级语义推理吃力。相反——稀疏的基于查询的规划器高效——但依赖闭集定义——使其易受分布外(OOD)事件影响。虽然近期视觉-语言-动作(VLA)模型提供开词表推理——其自回归离散token生成与车辆动力学的连续高频控制需求根本冲突。为此——我们提出Lagrange——基于掩码潜场(MLF)的开词表、计算稀疏驾驶框架。Lagrange不依赖稠密体积重建或闭集查询机制——而是利用视觉语言模型(VLM)把类无关对象提案编码为连续语义视觉token。我们引入意图驱动的掩码交叉注意力模块——时间性过滤无关实体——把被注意token解码为定义在空间坐标上的隐式连续能量场。通过把决策框定为横跨该能量场的拉格朗日动作最小化问题——我们在执行避碰的同时强制严格遵循车辆运动学。在标准(nuScenes)与长尾(CODA)基准上的大量离线评估表明——Lagrange为鲁棒、可解释、运动学可行的开放世界自主建立了有前景框架。
