具有子网校正功能的自适应双教师 蒸馏 用于弥合黑盒域适应中的语义差距

假设源数据和源模型参数都不可访问，黑盒域适应（BBDA）代表了一种高度实用但具有挑战性的设置，其中可转移的知识仅限于黑盒源模型的预测。现有方法通过伪标签细化或利用视觉语言模型（ViL）来利用这些知识，但它们通常无法调和黑盒模型中的特定任务知识与 ViL 的语言对齐语义先验之间的固有差异，从而导致集成欠佳和适应性能下降。为了应对这一挑战，我们提出了具有子网整流（DDSR）的自适应双教师 蒸馏，这是一个明确协调这些互补但不一致的知识源的框架。 DDSR 采用自适应预测融合策略来集成黑盒源模型和 ViL 的预测，为目标域生成可靠的伪标签。基于子网络的正则化机制通过强制输出一致性和梯度发散来减轻对噪声监督的过度拟合。此外，逐步改进的目标预测迭代地细化伪标签和 ViL 提示，从而增强语义对齐。最后，使用类原型通过自训练进一步优化目标预测。对多个基准数据集的大量实验表明，DDSR 始终优于最先进的方法，包括那些能够访问源数据或源模型参数的方法。