面向自动驾驶风险检测的视觉语言模型任务相关稳定性分析

视觉语言模型用于自动驾驶场景理解时，鲁棒性常仅依据与任务无关的嵌入稳定性评估。研究分析扰动引起的嵌入漂移，是否能预测由CLIP图文相似度计算的风险分数变化。在BDD100K道路场景中，比较嵌入漂移与决策间隔漂移，即扰动后的风险分数变化。两者关系强烈依赖扰动类型：一些扰动使表示和决策同时变化，另一些只引起较小嵌入变化却造成危险的判断不稳定。大多数扰动抑制风险检测并导致漏报，遮挡则引起误报。结果提示基准应考虑不对称失效模式，并在嵌入扰动统计之外加入任务相关稳定性衡量。