论文
通过文本锚定信息瓶颈进行领域泛化
Domain Generalization via Text-Anchored Information Bottleneck
摘要
视觉识别模型在新环境中部署时经常会失败。领域泛化(DG)通过学习对特定环境变化保持不变的表示来解决这个问题。最近的方法越来越依赖于大型视觉语言模型,假设保留其富有表现力的视觉表示可以提高鲁棒性。然而,我们表明,这种视觉表现力反而会传播将表征与训练环境联系起来的虚假线索,从而阻碍不变学习。因此,我们放弃视觉引导,而是将语言嵌入空间视为领域不变性的主要来源,自然地充当信息瓶颈,保留核心语义,同时抑制特定领域的变化。跨不同骨干网的广泛实验展示了最先进的性能,并进一步分析了是什么使指导有效地实现了稳健的泛化。这些发现将 DG 的重点从改进表示转向设计强制不变性的监督。