使用：用于测试时提示调整的统一自集成框架

测试时间适应（TTA）已成为提高视觉语言模型（例如 CLIP）在下游任务中的性能的流行范例。在现有的基于 CLIP 的 TTA 方法中，测试时间提示调整 (TPT) 是一项开创性工作，它使用多个测试时间增强来优化文本提示，并且迄今为止仍然是一个强大的基线。在这项工作中，我们重新审视 TPT 并揭示其优化可以解释为隐式地从自我生成的伪标签中学习。基于这个观点，我们提出了一个统一的自集成框架（USE），以确保优化和推理阶段之间的一致性。在优化过程中，我们引入了一种简单而有效的自集成（SE）策略，该策略自适应地强调测试图像本身而不是其增强视图，以获得更可靠的伪标签。为了充分利用增强的潜力，我们进一步在推理时应用相同的策略，统一两个阶段的目标。值得注意的是，SE 还可以充当轻量级的免优化 TTA 方法。跨多个数据集的大量实验表明，SE 和 USE 分别优于其对应项。此外，SE 在与现有 TTA 方法集成时可产生一致的性能增益。代码可在 https://github.com/sirujian/USE 获取。