多样化扩散采样的流形约束噪声优化

少步蒸馏扩散模型可以快速生成高质量图像，但通常会丢失每个提示的多样性，从而在随机种子中生成几乎相同的样本。在推理时优化初始噪声提供了一种恢复这种多样性的有吸引力的方法，但现有方法直接更新无约束欧几里得空间中的初始噪声，忽略高斯先验的几何形状和模型对噪声频率的敏感性。因此，他们引入了辅助质量控制目标来维持生成保真度，添加计算和加权超参数，同时仍然需要保守的更新以防止退化。在这项工作中，我们提出了 MoNO，一种 无需训练 方法，可在低维、质量稳定的噪声流形上执行流形约束噪声优化。 MoNO 依次优化每个新的初始噪声，使其预测的视觉特征补充前几代，而仿射低频球上的黎曼更新保留先验可能性并通过构造修复不稳定的高频分量。这使得大的测地线步骤成为可能，消除了对辅助质量控制目标的需要，并且比之前的噪声优化方法以更少的迭代次数进行收敛。多个蒸馏文本到图像扩散模型的实验表明，MoNO 在保持图像质量的同时不断提高每个提示的多样性。