论文
COSMO:共识驱动的移位调制,用于无源域适应
COSMO: Consensus-Driven Shift Modulation for Source-Free Domain Adaptation
摘要
无源域适应(SFDA)将源训练模型适应没有源数据的未标记目标域,这是隐私或存储限制下的实用设置。然而,其自我产生的监督可能会在重大领域转移的情况下强化来源偏见。预训练的视觉语言模型 (VLM) 提供互补的语义知识,但源模型和 VLM 的相对可靠性因目标样本而异。现有的跨模型指南没有明确解释这种变化,并且可能会在冲突的情况下覆盖有效的来源衍生证据,我们将这种失败称为来源衍生证据遗忘。我们将 VLM 引导的 SFDA 制定为样本可靠性分配问题,并提出共识驱动的移位调制(COSMO)。 COSMO 通过锚定的共同共识,以共同适应取代了专家对专家的指导。它首先形成特定于样本的初始共识,有利于更集中的预测。在适应过程中,COSMO 重新聚合两个分支不断变化的证据,并根据共识的不确定性和训练进度来调节由此产生的共识偏离其初始锚点的程度。这使得共享监督既固定又具有适应性。在四个基准测试中,COSMO 在匹配的 VLM 主干下实现了最先进的性能。进一步的分析表明,它更好地平衡了有效来源证据的保留与补充 VLM 证据的吸收。