DA-MergeLoRA：基于超网络的 LoRA 合并，用于少样本测试时域适应

少样本测试时域适应 (FSTT-DA) 旨在仅使用少量未标记的目标样本来使模型适应新的域。此设置比典型的域适应设置更现实，典型的域适应设置假设在源训练期间访问目标数据。然而，先前的 FSTT-DA 方法无法有效利用源领域特定知识，依赖于浅层批量归一化更新、将模型视为黑匣子的基于提示的方法或不捕获跨域关系的集成策略。为了解决这些限制，我们引入了一个新的 FSTT-DA 框架，该框架将 LoRA 微调 与模型合并集成。在我们的方法中，单独的 LoRA 模块在 CLIP 的视觉编码器上针对每个源域进行微调。由于 LoRA 仅修改模型参数的一小部分，因此它保留了基础模型的通用知识，同时在内部学习特定领域的特征。为了使学到的知识适应特定的目标领域，我们提出了一个通过元学习训练的超网络，它生成每列合并因子来组合 LoRA 模块。给定一小批目标图像，超网络会生成合并权重，将源 LoRA 模块融合成单个自适应表示。我们的结果展示了跨各种领域适应数据集的最先进的性能。我们的代码可在 https://github.com/nahbois4321/DA-MergeLoRA 上公开获取。