nuReasoning：以推理为中心的数据集和长尾自动驾驶基准

推理对于长尾场景中的自动驾驶 (AD) 至关重要，其中车辆必须应用常识知识、理解空间关系、推断代理交互并做出安全决策。然而，现有的自动驾驶数据集和基准主要针对感知、预测或规划，并且对现实长尾驾驶场景的推理提供有限的监督。我们介绍 nuReasoning，一个大规模的现实世界数据集和以推理为中心的 AD 基准。继承 nuScenes 和 nuPlan 的血统，nuReasoning 改进了现实世界的 AD 数据集和长尾驾驶场景推理基准。该数据集包含 20,000 个片段，每个片段长 20 秒，在多个城市收集，具有同步的多摄像头图像、LiDAR 数据、高清地图、对象注释和人类验证的推理注释，涵盖空间推理、决策推理和反事实推理。与之前主要关注视觉问答的数据集不同，nuReasoning 支持推理评估和规划评估，从而能够直接研究推理监督如何影响驾驶表现。实验表明，nuReasoning 上的 微调 VLM 显着改善了驾驶特定问题的回答，同时将推理监督纳入 VLA 训练中，即使在推理时禁用文本推理输出，也可以提高规划性能。这些结果使 nuReasoning 成为在现实长尾环境中评估和改进稳健、可解释、推理驱动的 AD 系统的基础。