适应的盲点：量化和减轻微调驾驶模型中的遗忘

将视觉语言模型（VLM）集成到自动驾驶中有望解决长尾场景，但这种范例面临着灾难性遗忘的关键且尚未解决的挑战。用于使这些模型适应驾驶特定数据的 微调 过程同时侵蚀了它们宝贵的预先训练的世界知识，造成了一个自欺欺人的悖论，破坏了它们使用的核心原因。本文首次系统地研究了这一现象。我们引入了一个新的包含 18 万个场景的大规模数据集，它实现了第一个专门为量化自动驾驶中的灾难性遗忘而设计的基准。我们的分析表明，现有方法存在严重的知识退化。为了解决这个问题，我们提出了 Drive Expert Adapter (DEA)，这是一种新颖的框架，通过将适应从权重空间转移到提示空间来规避这种权衡。 DEA 根据特定场景的线索，通过不同的知识专家动态地进行推理，从而在不破坏模型基础参数的情况下提高驾驶任务性能。大量实验表明，我们的方法不仅在驾驶任务上取得了最先进的结果，而且还有效地减轻了灾难性遗忘，保留了使 VLM 成为自主系统变革力量的基本泛化能力。数据和模型在 FidelityDrivingBench 上发布。