论文

LFM:利用基础模型实现无源通用域适应

LFM: Leveraging Foundation Models for Source-Free Universal Domain Adaptation

摘要

无源通用域适应 (SF-UniDA) 在协变量和标签偏移下将预训练的源模型适应未标记的目标域,而无需访问源数据。然而,现有的 SF-UniDA 方法依赖于低效技术,例如阈值调整和聚类。以其泛化和零样本能力而闻名的基础模型 (FM) 在 SF-UniDA 中仍未得到充分探索。在本文中,我们提出了一个利用 SF-UniDA 基础模型 (LFM) 的框架。我们使用视觉语言模型(VLM)来计算目标样本和文本标签之间的相似性,包括通过提示 大语言模型 生成的未知类的相似性。标签移位类型是通过分析基于相似性的样本级别得分的变异系数来确定的。使用适合另一个基于相似性的度量的二元高斯混合模型来识别未知样本。在共识策略下,VLM 生成的伪标签由使用预训练源模型初始化的目标模型进行细化,集成了源域和基础模型的知识。最后,这些精炼的伪标签用于训练目标模型。对所有可能的标签偏移和多个基准进行的广泛实验证明了我们提出的 LFM 框架的有效性和优越性。我们的代码可在 https://github.com/iamjingli/LFM 获取。