复兴域内 微调 方法，实现无源跨域小样本学习

跨域少样本学习 (CDFSL) 旨在使大规模预训练模型适应样本有限的专门目标域，但像 CLIP 这样的视觉语言模型的少样本 微调 仍未得到充分探索。通过为 CDFSL 建立 CLIP 的多个 微调 基线，我们发现基于适配器的方法（例如 LoRA）始终优于基于提示的方法（例如 MaPLe），这与域内场景相反。为了使这些有效的领域内方法在 CDFSL 中再次具有竞争力，我们分析了这一现象，发现 LoRA 的优越性源于纠正视觉 CLS 标记的注意力崩溃，通过关注文本相关的视觉区域来增强模态对齐和类分离。此外，我们发现文本 EOS 词元对视觉样本表现出更好的关注，并且 CLIP 的标准对比损失弱限制了模态对齐。基于这些见解，我们提出了语义探针（Semantic Probe），这是一种适用于基于适配器和基于提示的方法的即插即用注意力纠正框架。对四个 CDFSL 基准的大量实验验证了我们的基本原理，实现了最先进的性能并使 微调 范例受益。代码将被释放。