论文
CrossDistill:通过轨迹级混合少步蒸馏平衡质量和多样性
CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation
摘要
少步蒸馏可以加速扩散模型,但必须平衡多样性和保真度:基于轨迹的蒸馏可以保留模式覆盖范围,而分布匹配可以锐化样本,但会减少多样性。我们表明,这种张力可以通过依赖于噪声机制的方式来利用:高噪声步骤在很大程度上决定全局模式,而低噪声步骤则细化局部细节。我们提出了 CrossDistill,一种轨迹级混合蒸馏框架,它在交叉点分割采样轨迹,在高噪声区间应用轨迹保留目标,在低噪声区间应用分布匹配目标,并通过交叉状态耦合两个阶段。与损失级混合相反,并且作为训练时两阶段配方的补充,CrossDistill 沿着噪声轴显式分配互补目标,以便在局部统计数据锐化之前保留全局分支。 CrossDistill是一种噪声级调度策略:PCM和DMD是插件实例化,而噪声划分、交叉耦合和目标排序是关键设计元素。文本到视频扩散模型和定性图像到视频结果的实验表明,CrossDistill 扩展了几步质量多样性前沿,保留了种子级别的变化,同时实现了有竞争力的视觉保真度。