PAPT++：单域泛化的风险感知对抗性调整和生成

单域泛化（SDG）旨在从一个标记的源域学习一种模型，该模型泛化到未见过的目标域。一种常见的策略是通过增强或生成的样本来丰富源分布，最近的文本到图像（T2I）扩散模型为此目的提供了强大的生成先验。然而，仅多样性不足以实现稳健的泛化，因为有用的生成样本还应该捕获当前分类器发现困难的变化。在分布鲁棒优化（DRO）的推动下，我们在预训练的 T2I 模型的类条件生成空间中定义了语义歧义集，并在当前分类器下搜索具有高分类损失的样本。为此，我们引入了 PAPT++，一种针对 SDG 的风险感知对抗生成训练框架。 PAPT++ 首先通过图像文本对齐和类内多样性正则化来学习每个类的多样化语义参考图像。然后，这些参考文献在分类器引导的扩散合成过程中充当去噪目标，减少语义漂移，同时指导生成具有挑战性的变化。生成的样本与源数据相结合来更新分类器，更新后的分类器反过来指导下一轮合成。通过这种方式，PAPT++ 逐渐使分类器面临具有挑战性但语义一致的变化。对标准 SDG 基准的大量实验证明了所提出的 PAPT++ 方法的优越性及其主要组成部分的有效性。