T-VSS：在测试时直接调整视觉子空间以抵御对抗扰动

视觉语言模型（VLM）实现了强大的零样本识别，但它们仍然非常容易受到对抗性扰动的影响。最近的测试时间调整无需重新训练即可提高鲁棒性，但它们并不直接调整损坏的视觉表示本身。基于提示的方法适应可学习的文本提示，而输入空间方法则在测试时优化像素或填充。这些方法可以改进预测，但它们是通过间接且昂贵的优化路径来实现的。我们提出了测试时视觉子空间引导（T-VSS），这是一种轻量级防御，可以直接在视觉特征空间中执行测试时适应。 T-VSS 首先根据锚定在受攻击图像上的多视图特征残差构建特定于样本的低秩子空间。然后，它使用可靠性加权熵最小化来学习该子空间内的共享特征校正。通过限制对紧凑视觉几何的适应，T-VSS 引导攻击特征进行更稳定和更具辨别力的预测，同时避免嘈杂的全空间更新。细粒度、ImageNet 和 ImageNet-OOD 基准测试表明，T-VSS 提高了对抗鲁棒性，同时保持了有竞争力的干净精度和比之前的测试时间调整更高的效率。