SGMD：用于少步视频扩散的梯度匹配 蒸馏 蒸馏

分布匹配 蒸馏 (DMD) 是一种广泛使用的范例，用于加速少步视频扩散模型中的推理。然而，DMD 风格的视频 蒸馏 面临两个耦合的挑战：假分数必须跟踪不断发展的生成器，当需要频繁更新时，训练成本高昂，而反向 KL 风格的匹配可以是模式搜索和保守的，以保持强运动动态。为了解决这些问题，我们提出 \textbf{分数梯度匹配 蒸馏 (SGMD)}。 SGMD 采用假分数视角，直接优化针对教师的假分数，同时使用教师停止梯度 Fisher 作为稳定的分布匹配目标。我们提供了梯度分析，可以在理想跟踪下激发这种客观选择。在此基础上，SGMD 引入了一对双势：用于外环校正的负残差 (NR) 和用于内环跟踪的残差收缩 (RC)。根据经验，与 DMD2 相比，SGMD 实现了大约 $\sim 3\times$ 的训练加速，并显着改善了 4 步蒸馏模型的运动动态，同时保持了时间一致性。一项人类研究证实，SGMD 在运动质量和整体偏好方面更受青睐，而视觉质量和文本对齐仍然具有可比性。代码可在 https://github.com/ModelTC/LightX2V 获取。