当 CLIP 看到更多时，它会更努力地反击：多视图引导的自适应反击，以实现测试时的对抗鲁棒性

CLIP 等视觉语言模型已经实现了出色的零样本识别能力，但它们对抗对抗性扰动的鲁棒性仍然有限。最近提出了测试时反击（TTC），通过扰乱输入图像以使其远离推理过程中的损坏状态来提高 CLIP 的鲁棒性。然而，TTC 在强烈攻击下仍然脆弱，因为它的反击依赖于直接损坏的原始视图，并采用噪声驱动的硬门方案，无法适应不同的损坏严重程度。为了解决这些限制，我们引入了多视图引导的自适应反击（MAC），它通过损坏感知软加权对多视图进行反击。具体来说，MAC 首先构建输入图像的增强视图以获得不同的嵌入。然后，它执行反击以改进损坏的视图嵌入。接下来，MAC 根据估计的损坏程度自适应地调整每个视图的反击强度。最后，自适应反击的观点被聚合以产生稳健的最终预测。跨 20 个数据集和不同攻击场景的广泛实验表明，MAC 凭借其免调优设计，显着提高了鲁棒性，同时保持了高推理速度和内存效率。我们的代码可在 https://github.com/sunoh-kim/MAC 获取。