Sim2Real-AD：用于在现实世界自动驾驶中部署 VLM 引导强化学习的模块化 Sim-to-Real 框架

视觉语言模型（VLM）引导的强化学习（RL）最近引起了极大的关注，它用基于语义的信号取代了脆弱的手工奖励；然而，在真实车辆上部署这种经过模拟训练的策略仍然是一个基本挑战，因为它们依赖于模拟器本机观察和模拟器耦合的动作语义，而在物理硬件上没有对应的内容。我们确定了一个一般原则：模拟与现实的差距分解为两个基本正交的轴，即传感和动态域差距以及任务和几何差距，前者可以通过将真实感知和控制重新投影到政策的训练流形上而无需现实世界的政策训练来缩小。我们将其形式化为传输保证，通过三个独立可控的误差项限制部署间隙，并将其实例化为 Sim2Real-AD，它结合了几何观察桥、物理感知动作映射、两阶段渐进训练课程和实时部署管道。作为概念验证，CARLA 训练的 VLM 引导的 RL 策略被零次转移到美国威斯康星州麦迪逊市的一辆全尺寸电池电动福特 E-Transit 货车上，并在不使用真实世界训练数据的情况下驾驶车辆跟随、避障和停车标志场景。据我们所知，这是 CARLA 训练的 VLM 引导的 RL 策略在全尺寸真实车辆上的首次零样本闭环部署之一，并且分解提供了一条原则性的、广泛适用的路线，用于将模拟训练、基础模型引导的策略转移到物理世界，支持电气化交通平台上的节能智能驾驶。演示视频、代码和模型检查点可在以下网址获取：https://zilin-huang.github.io/Sim2Real-AD-website/。