EditStream：用于交互式视频生成和编辑的统一自回归框架

交互式视频生成和编辑对于创意设计变得越来越重要。在本报告中，我们介绍 EditStream：交互式视频生成和编辑的统一框架。 EditStream 通过灵活的特定于任务的调节，将多个视频创建和操作任务统一在一个基于 DiT 的模型中，并进一步将其转换为快速、几步的自回归模型，以实现高效的流处理。它支持文本到视频、图像到视频、视频到视频、编辑传播、参考引导视频编辑和相机姿势更改，从而能够在一个系统内灵活控制视频生成、转换和编辑。为了使统一模型可用于交互式使用，我们开发了一种两阶段 蒸馏 方法，该方法将速度矩匹配 (VMM) 与自回归展开相结合。 VMM 匹配学生达到的中间状态的条件速度矩，以保持生成质量和运动，而展开则让学生接触其自己的自回归预测，以提高时间稳定性。它们共同缓解了少步自回归视频生成中的常见挑战，包括过饱和、运动退化、时间不稳定和复杂训练。 EditStream 提供了实用且可扩展的解决方案，将高质量的基于扩散的视频模型与交互式创意工作流程联系起来。