平均速度匹配：重新思考扩散模型中的生成动力学

这项工作研究扩散模型中随机生成动力学的预测参数化。现有的基于速度的生成模型提供了学习单个传输场的简单性，但它们的标准公式是确定性的，而随机扩展通常需要额外的分数信息或中间速度到分数重建。为了保留单场预测，同时直接支持随机反向动力学，本文引入了平均速度匹配（MVM）。 MVM 构建了一个高斯扰动过程，其中恢复导向速度的条件期望 $(x_0-x_t)/t$ 直接形成反向 SDE 漂移。因此，单个学习字段足以参数化随机逆过程，而无需单独估计或重建分数。由于该速度的直接回归在 $t=0$ 附近变得无界，因此 MVM 进一步引入了 $\sqrt{t}$ 缩放参数化，该参数化保留了反向动态，同时产生有界训练目标。相同的学习领域还引入了确定性概率流 ODE，使得能够在统一的公式中研究随机和确定性采样。基于 Transformer 的生成模型的实验在 ImageNet $32\times32$ 上的 \MVMImageNetThirtyTwoNFE\ NFE 处实现了 $\MVMImageNetThirtyTwoFID$ ，在 ImageNet $256\times256$ 上的 \MVMImageNetTwoFiftySixNFE\ NFE 处实现了 $\MVMImageNetTwoFiftySixFID$ 。受控 SDE-ODE 比较进一步表明，ODE 在非常低的 NFE 下表现更好，而随机逆过程在有足够的函数评估可用时实现较低的 FID。这些结果表明，MVM 提供了随机反向动力学的直接单场参数化，同时保持有竞争力的生成质量。