论文
Wan2.2 双专家视频扩散模型的协作少步 蒸馏 和低位量化
Collaborative Few-Step Distillation and Low-Bit Quantization for Wan2.2 Dual-Expert Video Diffusion Models
摘要
大型视频扩散模型可实现强大的视觉质量,但部署成本仍然很高,因为每个样本都需要许多去噪步骤和大量驻留参数足迹。本文通过将少步分布匹配 蒸馏 与低比特量化相结合,研究了面向部署的 Wan2.2-T2V-A14B 压缩管道。该流程遵循模型的双专家去噪路线,分别校准高噪声和低噪声分支,保护敏感的入口层,并使用 HiF4 式的低位表示来提高动态范围覆盖。量化是在经过蒸馏的少步学生上而不是在原始长步轨迹上进行校准,从而减少了推理过程中的激活分布不匹配。所提出的协同设计使量化模型接近同步全精度模型,并平均在 8 步和 20 步时超越原始全精度基线。 20 步设置在测试的配置中提供了最佳的质量效率权衡。