用于快速概率推理的随机转换映射 蒸馏

扩散模型实现了强大的生成质量、多样性和分布覆盖范围，但其性能通常伴随着昂贵的推理。在这项工作中，我们提出了随机转换图 蒸馏 (STMD)，这是一种无教师框架，用于加速扩散模型推理，同时保留概率样本生成。基于分数的扩散模型的去噪参数化对后验分布的均值进行建模，与之相反，STMD 提取了与采样随机微分方程 (SDE) 相关的完整转移图。我们使用条件平均流模型对这些 SDE 转换进行参数化，产生一个一步或几步随机采样器，保留基础扩散过程的转换结构。这种视角对于需要随机推理的下游任务特别有用，例如扩散后验采样、逆问题和基于能量的 微调。与最近的 蒸馏 方法相比，STMD 不需要预训练的教师、双层优化或轨迹模拟和缓存，从而实现高效且可扩展的训练。我们推导了 Wasserstein 距离中方法的收敛界限，为我们的方法提供了坚实的理论基础，并在 MNIST、CIFAR-10 和 CelebA 数据集上的各种图像生成示例上验证了 STMD。