视觉语言模型测试时适应的局部裕度恢复

CLIP 等视觉语言模型 (VLM) 表现出卓越的零样本能力，但在意外的测试时间分布变化下，它们的性能经常急剧下降。虽然测试时间适应 (TTA) 提供了一种很有前途的解决方案，但在未标记的测试流上持续调整 VLM 却带来了根本性的挑战。传统的以 top-1 为中心的更新通常会通过破坏相关类之间的局部语义几何来强化错误，而迭代适应会加剧渐进式偏差累积，最终推动模型走向模式崩溃。为了克服这些耦合漏洞，我们提出了局部裕度恢复（LMR），这是一种轻量级的一步式 TTA 框架。在样本级别，我们的受保护边缘恢复 (PMR) 目标通过屏蔽外部硬负数中看似合理的接近顶部候选者来恢复局部语义几何。同时，为了对抗流级退化，我们引入了双级稳定机制，具有自适应裕度（AM）控制器和偏差校正（BC），可以动态破坏渐进偏差累积并防止模式崩溃。对 CIFAR-C、ImageNet-C 和 ImageNet 变体的大量实验表明，LMR 始终优于最先进的 TTA 基线，即使在具有挑战性的低批量测试时间制度下，也证明异常稳健和高效。我们的代码可在 https://github.com/DennisHuangYan/LMR 获取。