论文

AAD-1:用于一步自回归视频生成的非对称对抗 蒸馏

AAD-1: Asymmetric Adversarial Distillation for One-Step Autoregressive Video Generation

摘要

我们提出了 AAD-1,一种用于一步自回归图像到视频生成的非对称对抗 蒸馏 框架。最先进的方法采用对抗性 蒸馏,但会遭受运动崩溃和训练不稳定的问题,导致静态视频。 AAD-1 通过架构和训练策略方面的两个关键设计来应对这些挑战。我们的关键架构见解是打破生成器和鉴别器之间的对称性。虽然生成器仍然保持因果关系以保留自回归采样能力,但鉴别器在整个时空上下文中双向参与,并为整个视频序列生成单个整体真实感分数。这种不对称设计使鉴别器能够有效地检测导致自回归生成中运动崩溃的全局时间故障和长程漂移。为了稳定训练,我们引入了一种分阶段策略,首先使用分布匹配来引导稳定的单步生成器,提供一个预热阶段,在对抗性 蒸馏 开始之前使学生分布更接近教师。 VBench 上的大量实验表明,AAD-1 在一步自回归视频生成方面实现了最先进的性能。