概率流 蒸馏：参数空间中的分布匹配

Score 蒸馏 方法使用预训练的扩散模型作为先验，通过可微分的前向模型优化参数，尤其是在文本到 3D 生成中。然而，它们在这些参数上引起的分布尚不清楚。观察到现有的 蒸馏 方法减少为三种方法之一：评分 蒸馏 采样 (SDS)、通过反演评分 蒸馏 (SDI) 和变分评分 蒸馏 (VSD)，我们将 VSD 的粒子变分推理视图扩展到其他两种。我们展示了 SDS 崩溃到目标的模式，而 SDI 收敛到它的收缩版本，并解释了为什么 SDI 需要一个负分类器的指导量表。接下来，我们观察到 DDIM 后验均值等于概率流 ODE (PF-ODE) 的单个欧拉步。用完全反向求解替换 SDI 中的此步骤可使目标成为固定点，但需要求解两个级联 PF-ODE。从所得梯度中删除雅可比行列式得到概率流 蒸馏 (PFD)，这仅需要求解前向 PF-ODE。对合成目标、CelebA 数据集和文本到 3D 生成的实验支持我们的分析并证明了 PFD 的实际有效性。