EventDrive：用于视觉语言驾驶智能的事件相机

事件摄像机通过具有微秒延迟和高动态范围的异步亮度变化来感知世界，提供远远超出基于帧的传感器的运动保真度，并捕获传统曝光经常错过的时间结构。这些属性使事件成为自动驾驶中 RGB 的强大补充，特别是在模糊、眩光和快速运动的情况下，在这些情况下基于帧的感知可能变得不可靠。然而，现有的事件感知视觉语言模型仍然仅限于一般感知，并且没有揭示事件感知如何有助于整个驾驶循环中的推理和决策。我们推出了 EventDrive，这是一个大规模的基准测试和模型套件，它在四个核心维度上统一了事件流、RGB 帧和语言监督：感知、理解、预测和规划，涵盖图像描述、结构化 QA、视觉定位、运动状态识别、轨迹预测和规划任务。在此基础上，EventDrive-VLM 引入了多水平事件金字塔和时间水平专家混合模块，以自适应编码和融合异步和基于帧的信息以进行下游推理。对不同任务的综合评估表明，事件流在时间精度、运动感知和鲁棒性方面提供了显着的提升，将事件传感带入驾驶智能的中心。