论文
通过联合流量分布学习一致性模型的事后指导
Post-Hoc Guidance for Consistency Models by Joint Flow Distribution Learning
摘要
无分类器指导 (CFG) 让从业者可以在扩散模型 (DM) 的保真度与多样性之间进行权衡。然而,CFG 的实用性受到 DM 采样成本的阻碍。另一方面,一致性模型 (CM) 通过一个或几个步骤生成图像,但现有的指导方法需要来自单独的 DM 教师的 知识蒸馏,从而将 CFG 限制为一致性 蒸馏 (CD) 方法。我们提出了联合流分布学习(JFDL),这是一种轻量级对齐方法,可以在预训练的 CM 中进行指导。使用预先训练的 CM 作为常微分方程 (ODE) 求解器,我们通过正态性检验验证无条件和条件分布的速度场隐含的方差爆炸噪声是否为高斯分布。在实践中,JFDL 为 CM 配备了熟悉的可调节引导旋钮,产生具有与 CFG 类似特征的引导图像。 JFDL 应用于只能进行条件采样的原始一致性训练 (CT) CM,解锁了引导生成并减少了 CIFAR-10 和 ImageNet 64x64 数据集上的 FID。这是 CM 第一次能够在没有 DM 教师的情况下获得有效的事后指导,从而弥补了当前 CM 方法的关键差距。