论文
不确定性 DMD:恢复少步自回归视频的多样性 蒸馏
Uncertainty DMD: Restoring Diversity in Few-Step Autoregressive Video Distillation
摘要
少步蒸馏提高了自回归(AR)视频生成的效率,但常常导致多样性崩溃:在相同的提示下,不同的噪声样本往往会产生高度相似的视频,但运动动态性减弱。我们分析了分布匹配 蒸馏 (DMD) 提炼的 AR 视频生成器中的这种退化,发现在自回归设置中,它采用结构化不确定性崩溃的形式:DMD 的模式搜索偏差将不同的噪声样本映射到几乎相同的第一个块,然后确定性 AR 缓存将这种崩溃状态传播到所有后续块,将生成轨迹起点处的局部随机性损失转变为对时间变化的全局抑制。基于此分析,我们提出了 Uncertainty DMD,这是一个简单的不确定性注入框架,可以在 AR 生成的两个关键阶段恢复随机性:对第一个块进行时间步扰动以增加第一个块的多样性,以及对后续块的随机缓存写入机制以保留自回归条件中的不确定性。该方法不需要架构改变,并且仅引入轻量级扰动操作。在训练和推理过程中使用相同的扰动机制。实验表明,Uncertainty DMD 持续改善多样性和运动动态,同时保持可比较的每个样本的视觉质量。