自动驾驶对环境错觉的稳健性基准测试：车道感知视角

环境错觉（例如阴影、反射和轮胎痕迹）是现实驾驶环境中自然存在但被忽视的现象。它们会干扰视觉感知，导致对场景的误解，并对自动驾驶（AD）系统构成严重的安全风险。然而，现有的研究在很大程度上忽视了这些现象，留下了严重的空白。为了解决这个问题，我们从车道感知角度研究自动驾驶鲁棒性，这是支持巡航控制和车道居中等核心功能的基本任务。我们重点关注两种代表性模型：传统车道检测（LD）和基于视觉语言模型的系统（ADVLM）。在这项工作中，我们引入了第一个基准 LanEvil++，用于评估环境错觉下车道感知的鲁棒性。 LanEvil++包含14种错觉，并利用CARLA模拟器生成94个高保真、完全可控的3D场景，产生包含90,292张带注释图像、1,596个视频剪辑和41,855个视觉问答对的数据集。广泛的评估表明，环境错觉会极大地降低最先进的 LD 方法的性能。平均而言，LD 模型的准确度下降 5.27%，F1 分数下降 10.49%，而 ADVLM 的 GPT 分数下降 2.03%，语言分数下降 0.75%。在所有错觉中，阴影是最具破坏性的因素，使准确度降低高达 7.20%。此外，闭环模拟表明，这些错觉可能会导致错误的驾驶决策。补充的现实案例研究强调了实际交通场景中的安全关键故障。为了增强鲁棒性，我们提出了多模态幻觉防御方法（MIDA）。 MIDA 在充满挑战的条件下取得了巨大的进步，将 LD 模型的鲁棒性提高了 4.23%，将 ADVLM 的鲁棒性提高了 3.82%。