他们看到了什么？通过视觉-语言-动作模型解释复杂的道路场景，实现安全可靠的自主车辆学习

端到端自动驾驶模型现在能够导航复杂的道路场景，将原始传感器观察结果直接映射到观察路径以进行开环评估，并且通常可以在闭环评估中进行有效驾驶。然而，由于交通场景的复杂性，这些安全关键系统的内部逻辑在很大程度上仍然不透明。我们提出了一种称为反事实视觉动作分析（CVAA）的反事实消融框架，该框架使用真实感生成修复系统地从前置摄像头图像中删除单个检测到的对象，以准备反事实集来评估模型响应的差异。这隔离了每个对象的存在对模型规划行为的因果影响。将 Alpamayo 1 轨迹预测器应用于 210 个 nuScenes 驾驶场景中，我们创建了一个数据集 Counter -nuScenes，使用它我们可以看到模型“路径”内的车辆和行人如预期的那样在因果影响中占主导地位，而交通信号灯如预期的那样，相对于其图像足迹产生了不成比例的影响。然而，我们也发现模型对人类驾驶员认为不相关的物体做出强烈反应的情况。这就提出了一个更深层次的问题：模型本身是否将场景视为影响结果的各个对象的总和，或者它是否编码了一组完全不同的内部特征，这些特征与人类可读的场景元素不对应？为了进一步理解这一点，我们使用机械可解释性技术比较原始图像对和修复图像对的中间表示，并通过各个模型层检查删除的效果。这两个阶段共同提供了一条从行为审计到代表性理解、创建可解释的驾驶系统和巩固人类与人工智能信任的路径。