论文
CoLT-Drive:用于驾驶可供性预测的反事实长尾基准测试和知识保存适应
CoLT-Drive: Counterfactual Long-Tail Benchmarking and Knowledge-Preserving Adaptation for Driving Affordance Prediction
摘要
长尾自动驾驶失败通常被认为是稀有物体识别错误。我们认为这种观点是不完整的:决策关键问题不仅在于模型是否识别出不寻常的物体,而且在于它是否推断该物体如何改变自我车辆的可行的高级动作。我们将这个问题形式化为决策级驾驶可供性预测,其中模型将前视图图像、自我运动历史和导航命令映射到结构化的纵向-横向元动作。为了评估这种能力,我们引入了 CoLT-Drive,这是一个 3,536 个样本的反事实长尾基准,它将稀有物体插入到其他固定的驾驶场景中,并测量模型是否预测可接受的动作对。为了改进可部署的小型 VLM,我们提出了 KPA(一种知识保存适应框架),它结合了结构化感知到决策提示、基于 SLERP 的专家合并和 RegMoE(一种机制感知 LoRA 专家混合模块)。 KPA 保留了预训练模型的开放世界知识,同时为不同的驾驶决策机制分配轻量级适应能力。域内驱动分割和 CoLT-Drive 的实验表明,KPA 在 CoLT-Drive 上实现了 60.8\% 的配对准确率,优于预训练的 Qwen3-VL-2B 基线 (50.3\%) 和 LoRA SFT (32.4\%),同时保持有竞争力的域内准确率。我们的基准测试和代码可在 https://huggingface.co/datasets/tangzx2024/CoLT-Drive 和 https://github.com/tangzhengxu/CoLT-Drive 上获取。