用于长视野自回归视频生成的 Rollout-Marginal Distillation

摘要

自回归 (AR) 视频扩散可实现低延迟、可流式传输的视频生成，但预测错误通常会在长时间部署后累积。根据自己的部署来训练生成器会将其暴露在这些不完美的历史中。然而，现有的视频级分布匹配蒸馏（DMD）对整个rollout进行联合评分。因为块是与它的过去和未来一起评估的，所以它的校正可以有利于匹配周围上下文中的伪影，只是为了保持时间一致性。为了提供更清晰的视觉质量信号，我们引入了 Rollout-Marginal Distillation (RMD)。 RMD 保留生成的 AR 预测历史记录，但针对块教师独立对每个块进行评分，确保其质量校正不会因不完美的时间上下文而受到影响。为了弥补独立块评分中时间上下文的缺乏，RMD 随后应用视频级 DMD 来恢复时间一致性。大量实验表明，RMD 保持了远远超出其训练范围的高视觉质量，并且优于视频级 DMD 基线。代码和视频结果可在 https://cjeen.github.io/RMD 获取