用于半监督视觉基础模型适应的噪声标签的三重专家学习

视觉基础模型 (VFM) 的半监督适应通常会冻结预训练的主干并更新 LoRA 等轻量级模块。然而，伪标签具有混合的可靠性，并且单个 LoRA 适配器必须在同一低秩空间中吸收可靠、模糊和噪声的梯度。这可以使 VFM 适应对伪标签噪声敏感。我们提出了 \textbf{TriNoL}，一个来自 \textbf{No}isy \textbf{L}abels 的 \textbf{Tri}ple 专家学习框架，用于半监督 VFM 适应。 TriNoL 将未标记的样本路由到三个置信区域，并将它们分配给三个 LoRA 专家：用于高置信度伪标签的正专家、用于中等置信度模糊样本的对齐专家、以及用于低置信度噪声样本的负专家。 VFM 主干仍然冻结，只有 LoRA 专家和分类器头进行更新。通过将不同的伪标签可靠性区域分成专门的适应路径，TriNoL 提高了对噪声监督的鲁棒性，同时保持较低的训练成本。