基于视觉语言模型的自主车辆导航 GNSS 欺骗检测的开发

自动驾驶车辆 (AV) 依靠全球导航卫星系统 (GNSS) 进行定位和导航，这使得它们很容易受到欺骗攻击，这些攻击可以秘密地改变车辆的方向或引发不安全的操作。在本文中，我们开发了第一个基于视觉语言模型（VLM）的框架，用于自动驾驶车辆的 GNSS 欺骗检测，通过将前置摄像头视觉数据与车载传感器读数（例如速度、加速度、偏航率）融合以对抗 GNSS 衍生的操作。我们的方法引入了一个三阶段的 微调 过程，该过程首先基于视觉线索，然后在共享语义空间内校准传感器数据，以检测三种攻击场景中预测的操作与 GNSS 衍生的操作之间的差异。我们还通过在阿拉巴马州塔斯卡卢萨的公共道路上驾驶配备有时间同步 GNSS、IMU 和摄像头日志的仪表车辆来生成独立的真实世界数据集，以验证我们的微调模型对来自训练数据的未见数据的跨区域泛化。然后，我们在此数据集上生成智能欺骗攻击，包括用于错误转弯攻击的道路网络捕捉的轨迹镜像、用于超调场景的位置冻结以及用于停止攻击的漂移生成。在此验证数据集上，零样本 VLM 基线 F1 分数范围为 23% 至 32%，而我们的微调模型实现的 F1 分数范围为 94% 至 95%。结果表明，我们基于 VLM 的方法正确地分类了每次错误转弯和停止攻击，并且对于超调攻击达到了 88%-93% 的准确率。此外，我们引入了一种自适应推理策略，可将 VLM 调用减少至 14%（计算量减少约 86%），并且每 4 秒窗口产生 65ms-73ms。这些结果表明了一种实用的道路防御层，可以通过使用 VLM 来补充信号级完整性检查。