论文
视觉语言模型对抗鲁棒性的闭环双向提示
Closed-Loop Bidirectional Prompting for Adversarial Robustness of Vision Language Models
摘要
视觉语言模型能够很好地适应下游任务，但很容易受到破坏跨模式语义对齐的对抗性扰动的影响。现有的防御措施很大程度上是单向的或结构性的，未能利用双向跨模式互补性和实例自适应保护。为了克服对抗性环境中单向和静态防御的局限性，我们提出了闭环双向提示，通过冻结编码器上的动态反馈环将鲁棒适应铸造为跨模式协议恢复。引入语义锚作为稳定先验，以约束循环更新并减轻扰动引起的特征损坏。通过基于锚点的引导，文本语义对视觉表示进行去噪，而精致的视觉效果可以实现实例自适应提示更新，从而产生纠正和稳健的共识。对 11 个数据集的广泛评估验证了最先进的稳健性和强大的新基础泛化能力，同时在计算成本和准确性之间保持有利的权衡。