论文

无分类器引导流模型的全局传输耦合

Global Transport Couplings for Classifier-Free Guided Flows

模型训练预训练

摘要

最佳传输耦合已被证明可以减少无条件流模型中的训练方差,但它们在条件生成中的作用仍不清楚。自然的方法为每个条件构建单独的耦合,但这对于现代图像基础模型中发现的大型或连续条件空间是不切实际的。我们引入了全局传输(GT),这是一种全局的类不可知的最佳传输耦合,无需类标签即可计算。 GT 可以将不同的条件与源噪声的不同区域相关联,从而在没有指导的情况下使性能恶化。然而,当与无分类器指导 (CFG) 相结合时,GT 可以持续改进跨领域、模型规模和采样预算的生成。这种逆转表明,条件流的耦合应该在推理中使用的引导流下,而不是在无引导的生成下,从经验和理论上进行评估。我们在跨模型尺度的离散类和连续文本条件图像生成上评估 GT,并研究耦合选择如何改变引导轨迹。这些结果将引导流设置中的耦合设计识别为简单的训练时间轴,以提高性能,而无需修改现有架构、采样器或引导机制。

无分类器引导流模型的全局传输耦合:论文原图
图 1:“溜溜球”效应的二维描述。对于独立和类条件 OT 耦合,这种效应会将样本推离高指导尺度的中心,从而降低生成性能。全球运输解决了这个问题,并且在不断增加的指导 $w$ 下保持稳定。