DiffRGD：通过黎曼梯度下降的推理时间扩散指导

最近，扩散模型在生成建模中得到了广泛采用，并成为许多图像生成任务的基础模型。为了在不进行昂贵的重新训练或 微调 的情况下控制生成，许多工作寻求推理时指导方法，以在推理时通过可微目标来引导潜在变量。然而，这些方法不能有效地保留原始高斯分布，因为它们引入了分布漂移，从而降低了样本质量。为了解决这一差距，我们提出了 DiffRGD，一种分布感知指导框架，它明确保留了潜在高斯结构。 DiffRGD 将每个采样步骤表示为由潜在高斯分布引起的球面流形上的约束优化问题，并通过黎曼梯度下降 (RGD) 有效地求解。 DiffRGD 是一种即插即用的方法，可以无缝集成到任何预先训练的扩散模型中。大量实验表明，DiffRGD 在大多数图像恢复和条件生成任务中都优于以前的方法。我们的项目页面位于 https://diffrgd.github.io/。