用于单域泛化的对抗域提示调整和生成

单域泛化（SDG）旨在学习一种鲁棒的模型，该模型可以在许多看不见的域上表现良好，而只有一个域可用于训练。实现单域泛化的有希望的方向之一是通过数据增强或图像生成来生成域外（OOD）训练数据。鉴于人工智能生成内容（AIGC）的快速发展，本文首次提出利用强大的预训练文本到图像（T2I）基础模型来创建训练数据。然而，手动设计文本提示来生成所有可能领域的图像通常是不切实际的，并且某些领域特征可能过于抽象而无法用文字描述。为了应对这些挑战，我们为预训练扩散模型提出了一种新颖的渐进式对抗提示调整（PAPT）框架。我们的方法不依赖静态文本域，而是学习两组抽象提示作为扩散模型的条件：一组捕获域不变的类别信息，另一组建模特定于域的样式。这种对抗性学习机制使 T2I 模型能够生成各种领域风格的图像，同时保留关键的分类特征。大量的实验证明了所提出方法的有效性，实现了优于最先进的单域泛化方法的性能。