旁白：用于自动驾驶中以人为本的解释的多模态澳大利亚真实驾驶数据集

自动驾驶车辆必须以乘客能够理解、监控和信任的方式解释其决定。现有的语言注释驾驶数据集大多是观察者编写的、事后的、基于模拟的或从传感器输入生成的，而不是从执行动作的驾驶员中引出的。我们引入了 NARRATE，这是一个多模式真实世界澳大利亚驾驶数据集，包含 35 名经验丰富的驾驶员和驾驶教练在公共道路上发生的 2,050 个带注释的事件。每个事件都以同步的视觉、定位、运动和激光雷达流为基础，并配有车内和/或驾驶后的自由文本解释。 NARRATE 提供动作标签、跨越 6 个高级类别和 32 个细粒度类别的场景上下文标签，以及针对感知、理解和投射的驾驶员解释的跨级情境意识 (SA) 注释。四个基准任务（SA、场景上下文、驾驶员动作分类和解释生成）表明，这种结构可以从驾驶员语言中学习，而细粒度上下文识别和解释生成仍然具有挑战性。 NARRATE 为自动驾驶更加以人为本和领域感知的解释模型铺平了道路。