论文
DESA-TTA:用于测试时间适应的动态 EMA 和源锚定
DESA-TTA: Dynamic EMA and Source Anchoring for Test-Time Adaptation
摘要
视觉语言目标检测器 (VLOD) 实现了强大的零样本性能,但在部署过程中仍然容易受到分布变化的影响。用于测试时间适应 (TTA) 的平均教师方法可以通过使用教师生成的伪标签更新学生模型来提高鲁棒性。然而,平均教师 TTA 对教师更新的固定指数移动平均 (EMA) 系数的选择高度敏感,并且使用噪声伪标签进行重复优化可能会导致累积的学生漂移。我们提出了 TTA 的动态 EMA 和源锚定 (DESA-TTA),这是一种低开销方法,通过动态时间平均和源锚定来共同调节教师更新和学生漂移。动态时间平均根据伪标签置信度和框密度估计教师不确定性,并使用它在教师参数漂移确定的范围内选择样本 EMA 系数。源锚定将更新的学生参数部分恢复为其预训练值,锚定强度根据学生漂移而增加。跨不同分布变化和两种 VLOD 架构的实验显示了对现有 TTA 方法的一致改进。在 VOC-C 上,DESA-TTA 比零样本推理提高了 AP$_{50}$ 14.5 个点,同时与 YOLO-World 之前最先进的 TTA 方法相比,推理吞吐量提高了 55%。我们的代码:https://github.com/imatif17/DESA-TTA