论文

EponaV2:以全面的未来推理驱动世界模型

EponaV2: Driving World Model with Comprehensive Future Reasoning

模型架构新型架构

摘要

数据扩展在追求通用智能方面发挥着关键作用。然而,自动驾驶中普遍存在的感知规划范式严重依赖昂贵的手动注释来监督轨迹规划,这严重限制了其可扩展性。相反,尽管现有的无感知驾驶世界模型取得了令人印象深刻的驾驶性能,但它们的现实世界推理能力仅建立在下一帧图像预测之上。由于缺乏足够的监督,这些模型常常难以全面理解场景,导致轨迹规划不令人满意。在本文中,我们提出了EponaV2,一种驱动世界模型的新颖范式,它通过全面的未来推理实现了高质量的规划。受到人类驾驶员如何预测 3D 几何和语义的启发,我们训练模型来预测更全面的未来表示,这些表示可以另外解码为未来的几何和语义地图。提取 3D 和语义模态使我们的模型能够深入了解周围环境,未来的预测任务显着增强了 EponaV2 的现实世界推理能力,最终改进了轨迹规划。此外,受大语言模型(LLM)训练配方的启发,我们引入了流匹配组相关策略优化机制,以进一步提高规划精度。 EponaV2 在三个 NAVSIM 基准(+1.3PDMS、+5.5EPDMS)上的无感知模型中的最先进(SOTA)性能证明了我们方法的有效性。