论文
使用流量匹配模型进行幅度方向解耦以快速生成视频
Magnitude-Direction Decoupling for Fast Video Generation with Flow Matching Models
摘要
用于视频生成的流匹配模型实现了令人印象深刻的性能,但由于迭代去噪而遭受高计算开销。事实上,原始模型并不是所有去噪步骤都必需的,允许某些步骤使用轻量级替代方案来实现更快的采样。然而,直接使用缓存或轻量级模型可能会偏离原始的去噪轨迹,导致性能不佳。通过实证分析,我们发现轻量级模型可以稳健地捕获原始模型输出的幅度分量,而缓存则提供可靠的方向指导。基于这一见解,我们提出了幅度-方向解耦(MDD)方法,该方法自适应地采用方向校准的轻量级模型作为原始模型的替代品,以加速推理并有效纠正去噪轨迹中的偏差。此外,MDD 通过在无分类器指导(CFG)下重用幅度信息,进一步降低了推理成本。因此,MDD 提供了更可靠、更轻量的解决方案来加速采样。实验表明,MDD 的性能优于现有的加速方法,在保持高视觉保真度和内容丰富度的同时,提供了令人鼓舞的加速(例如,在 Wan2.1 上高达 2.95 倍)。