向人类驾驶学习：自动驾驶的人在环在线行为克隆框架

随着大型基础模型（LFM）的发展，数据驱动的自动驾驶取得了重大进展。然而，由于分布转移和因果混乱，现有范式在复杂交互和长尾场景中仍然面临严峻挑战。这些限制往往导致极端条件下缺乏人类决策的灵活性和安全性。为了克服这一限制，本文提出了一种用于自动驾驶的人在环在线行为克隆框架（HiL-OBC），旨在将LFM的跨模态感知能力与人类专家的高级驾驶智能深度融合。具体来说，HiL-OBC 部署通过三个关键阶段执行：人工干预的策略初始化、贝叶斯策略适应的潜在行为建模以及在线部署和更新。此外，我们设计了多模态在线行为克隆（MOBC）模型，通过轻量级网络架构、接管触发机制和多变量损失函数在线优化基础驾驶策略，从而增强系统在复杂环境下决策的鲁棒性。我们在 LangAuto-Human CARLA 基准测试中评估了 HiL-OBC。实验结果表明，通过人在环机制优化的驾驶策略取得了显着的性能提升：StructNav、LFG和LMDrive的DS分别提高了47.25%、31.59%和32.12%，多种实验设置和关键组件的同步凸显了人在环学习在提高决策鲁棒性和整体驾驶性能方面的优势。