SAE解释驾驶模型内部表示，并以图像反事实检验行为影响

摘要

端到端（E2E）自动驾驶模型实现了强大的规划性能，但在很大程度上仍然不透明，限制了可观察性和信任。我们通过在简单的单摄像头端到端路径规划模型的内部激活上训练稀疏自编码器（SAE），将机制可解释性应用于端到端驾驶。 SAE潜变量的无监督聚类揭示了与路线意图、车辆速度和制动行为一致的可解释结构，无需监督即可以 98.3% 的准确度恢复路线意图。通过配对反事实图像编辑，我们进一步表明特定的 SAE 特征具有明确的视觉依据，并系统地响应场景变化，例如交通灯状态和停车标志的存在。引导各个 SAE 潜在因素会在规划器输出中产生可预测的单调变化，包括横向位移、曲率和制动。最后，我们演示了这些表示的实际应用：我们构建了一个在 SAE 潜在特征上训练的轻量级适配器，将轨迹选择误差减少了 3.44%，优于省略 SAE 潜在特征的等效适配器，确认稀疏表示捕获了可解释性的有用信息。代码和可视化可在 https://mgagvani.github.io/mechanistic-interpretability-for-e2e-driving/ 获取

SAE解释驾驶模型内部表示，并以图像反事实检验行为影响：论文配图 — 图1：模型架构。简单单目轨迹评分器（SMTS）仅以车前摄像头、过去的自车状态和路线意图为输入。过去状态与意图初始化一个查询token，后者通过四个Transformer块对适配后的视觉token进行注意力计算。最终查询预测候选控制序列，借助运动学模型将其展开为未来轨迹，并用学习得到的候选评分器评价各条轨迹。监督深度头仅作为辅助训练输出。