论文

当语义饱和或出现时:无源跨域小样本学习中的适应条件语义效用

When Semantics Saturate or Emerge: Adaptation-Conditional Semantic Utility in Source-Free Cross-Domain Few-Shot Learning

模型评测模型行为与机制分析

摘要

无源跨域少样本学习(SF-CDFSL)中的语言描述通常是根据通过冻结视觉语言模型获得的零样本精度来选择的。本文询问目标域视觉适应后该排名是否仍然有效。在严格配对的协议下,我们将 EuroSAT、CropDisease、ISIC 和 ChestX 上的视觉低秩适应 (LoRA) 前后的通用类名称模板与固定的详细类描述进行比较。让$\deltazero$和$\deltalora$分别表示适应之前和之后的Detailed-minus-Base准确度。出现了两种反复出现的制度。在 \emph{语义饱和} 中,$\deltazero>0$ 但 $0<\deltalora\ll\deltazero$:在 EuroSAT 和 CropDisease 上,初始收益 8.13--21.54 个百分点收缩到 LoRA 之后的 0.69--2.96 个百分点。在 \emph{语义出现} 中,$\deltazero\leq0$ 但 $\deltalora>0$:在 ISIC 和 ChestX 上,只有在更新视觉表示后,详细描述才变得更有用。训练轨迹和样本级分解表明,饱和主要是由 Base-LoRA 恢复已通过详细语义解决的错误驱动的,而出现则与预测周转和新形成的仅详细正确决策相关。无定点混洗语义控制、第二个 CLIP 主干和多个随机种子支持广泛模式,同时将 ChestX 1-shot 识别为弱边界情况。这些发现表明,零样本提示质量是适应锚定质量的不完整代理,并激励评估适应边界两侧的语言。