论文
一种可证明的能量引导测试时防御，可增强大型视觉语言模型的对抗鲁棒性
A Provable Energy-Guided Test-Time Defense Boosting Adversarial Robustness of Large Vision-Language Models
摘要
尽管多模态模型和大型视觉语言模型（LVLM）取得了快速进展，但它们仍然非常容易受到对抗性扰动的影响，这引发了人们对其在现实世界中使用的可靠性的严重担忧。虽然对抗性训练已成为构建对对抗性攻击具有鲁棒性的模型的领先范例，但测试时转换（TTT）已成为一种有前途的策略，可提高推理的鲁棒性。有鉴于此，我们提出了能量引导测试时间转换（ET3），这是一种轻量级的 无需训练 防御，可通过最小化输入样本的能量来增强鲁棒性。我们的方法基于一个理论，该理论证明我们的转换在合理假设下成功地进行了分类。我们进行了大量的实验，证明 ET3 为分类器、CLIP 的零样本分类提供了强大的防御，并且还可以提高 LVLM 在图像字幕和视觉问答等任务中的鲁棒性。代码可在 github.com/OmnAI-Lab/Energy-Guided-Test-Time-Defense 获取。