路边协同自动驾驶：从数据平台到视觉语言端到端推理

车对万物 (V2X) 协作可实现超视距感知，减轻单车传感中的遮挡。然而，现有的V2X基准测试对闭环评估和基于语言的监督提供的支持有限，阻碍了端到端协作驾驶的视觉语言模型（VLM）的开发。为了解决这些限制，我们引入了 V2XBench（一个具有同步自我路边传感和闭环评估功能的仿真平台）以及 Chat-V2XBench（一个用于协作推理的渐进式结构化 VQA 数据集）。在此基准基础设施的基础上，我们提出了 AURORA，一个端到端的协作驾驶框架。 AURORA 配备双视图感知架构，通过查询级跨视图查询对齐和融合 (CQAF) 模块减轻自我和路边观点之间的空间和语义差异。利用由此产生的统一词元，适应 LoRA 的 VLM 连接了语义推理和生成轨迹规划。 V2XBench 上的广泛闭环评估表明，AURORA 在严重遮挡场景下实现了最先进的性能，路线完成率高达 98.21%，驾驶得分为 76.02，同时对路边通信带宽的要求较低。最终，这项工作开创了可扩展的 V2X——VLM 范式，为下一代协作自动驾驶铺平了道路。