OmniV2X：高效端到端协作驾驶的生成基础规划器

我们推出了 OmniV2X，这是一种用于车联网 (V2X) 协同驾驶的生成基础模型。该模型直接解释包含多模式和多主体观察的独立上下文序列。新设计减轻了密集 3D 感知的计算成本、协作场景中数据稀缺的脆弱性，以及将多模态输入融合到共享表示的现有方法中对标准化消息传递的不合规性。对于训练，我们使用下游轨迹生成损失提出了一个端到端的监督管道，其中高容量生成序列规划器隐式学习如何引导模型并通过交叉注意注入利用多模态输入。作为基础模型，我们证明了在大规模单代理规划数据集上进行预训练的 OmniV2X 可以通过将调节上下文与轻量级、符合标准的 V2X 词元集成来有效地适应协作环境。在 DAIR-V2X-Seq 数据集上进行评估，OmniV2X 优于现有的端到端协作驾驶基准，以不到 10% 的微调 V2X 数据集和不到 1% 的通信带宽实现了最先进的性能。我们进行全面的评估，以证明其在现实世界约束下的计算效率和鲁棒性。