使用轻量级的自动驾驶置信感知语言模型进行决策

大语言模型 (LLM) 和多模态 LLM (MLLM) 通过提供类人推理和开放世界泛化，在自动驾驶 (AD) 方面展现了巨大的潜力。然而，这些大规模模型的过多计算开销和高推理延迟严重阻碍了它们在资源受限的自动驾驶系统中的部署。为了应对这一挑战，我们提出了一种利用轻量级置信感知语言模型的新型决策框架，该框架弥合了复杂的多模态意图推理和高效推理之间的差距。具体来说，我们设计了一个多代理协作工作流程，包括行动投票、置信度评估和摘要代理，以通过明确的思想链（CoT）推理生成高质量的、带有置信度注释的决策演示。然后，这些演示被提炼成具有双头架构的轻量级语言模型，从而能够联合预测决策概率并生成文本原理。 蒸馏 通过置信感知 微调 策略与检索增强生成 (RAG) 相结合来实现，以增强模型的适应性和数据效率。 nuPlan 基准的全面闭环实验表明，我们的方法在常规和长尾场景中均实现了最先进的 (SOTA) 成功率，同时保持较低的推理延迟。