通过交换词元来指导扩散模型

无分类器指导 (CFG) 是一种广泛使用的推理时间技术，用于提高扩散模型的图像质量。然而，它对文本条件的依赖阻碍了它在无条件生成中的使用。我们提出了一种简单的方法来为条件和无条件生成提供类似 CFG 的指导。关键思想是通过简单的词元交换操作生成扰动预测，并使用它与干净预测之间的方向来引导采样走向更高保真度的分布。在实践中，我们在空间或通道维度上交换语义上最不相似的标记潜伏对。与以全局或较少约束的方式应用扰动的现有方法不同，我们的方法有选择地交换和重组词元潜伏，从而可以更好地控制扰动及其对生成样本的影响。 MS-COCO 2014、MS-COCO 2017 和 ImageNet 数据集上的实验表明，所提出的自交换指导（SSG）在应用于流行的扩散模型时，在不同设置下的图像保真度和提示对齐方面优于以前的无条件方法。其细粒度的扰动粒度还提高了鲁棒性，减少了更广泛的扰动强度的副作用。总体而言，SSG 将 CFG 扩展到更广泛的应用范围，包括条件生成和无条件生成，并且可以作为插件轻松插入到任何扩散模型中，以立即获得改进。