论文

并非所有预测目标都在流形上保留 无需训练 扩散指导

Not All Prediction Targets Keep Training-Free Diffusion Guidance on the Manifold

模型推理解码与生成控制

摘要

无需训练 指导 (TFG) 将预训练的扩散模型引导至推理时所需的属性。为了有效,该指导必须从最早的、高噪声的采样步骤开始应用。因为它的目标(分类器或能量)是在干净图像上定义的,$ε$-和$v$-预测模型必须首先在每一步从噪声状态估计干净图像$\hat{x}$,并且该估计的准确性决定指导偏离数据流形的容易程度。 $x$-预测是最近的替代方案,直接输出干净的图像,即使在高噪声下也消除了这个误差源。这是我们的动力。我们对每个预测目标如何形成这种精度进行了理论分析,并引入了引导级 FID(Child FID),这是一种暴露多种损伤标准评估失误的指标。对新的细粒度鸟类基准和风格迁移的实验证实,$x$ 预测使引导样本保持在流形上最可靠,使其成为 无需训练 引导的最坚实基础。代码可在 https://github.com/ManLuML/on-manifold-tfg 获取