AGC：视觉语言模型对抗鲁棒性的自适应测地线校正

像 CLIP 这样的视觉语言模型已经展示了卓越的零样本传输能力。然而，它们对难以察觉的对抗性扰动的敏感性仍然是一个关键的安全问题。虽然测试时防御为已部署的模型提供了实用的解决方案，但现有方法通常在推理过程中依赖于基于梯度的优化，从而产生大量的计算开销。在本文中，我们重新审视数据增强在 CLIP 鲁棒性中的作用，并观察到增强并不同样有效：特定的增强始终提供与超球面特征空间中正确的类语义相一致的鲁棒几何线索。基于此，我们提出了自适应测地线校正（AGC），这是一种不需要参数更新的 无需训练 防御机制。 AGC 将可靠的增强识别为几何锚点，并针对其校正输入特征，利用自适应步长来平衡鲁棒性和干净的精度保留。 AGC 在 8 个细粒度数据集和 3 个 CLIP 主干上实现了卓越的性能，与最先进的基准相比，平均鲁棒精度提高了 44.4%，同时推理延迟减少了 10 倍。我们的研究结果揭示了 CLIP 特征的基本几何属性，为稳健的多模式部署提供了高效且有效的范例。