SmartDirector：具有叙事节奏控制的关键帧条件电影视频生成

视频的叙事质量从根本上决定了其感知价值。尽管现有的视频生成方法可以产生视觉上吸引人的内容，但它们主要依赖于稀疏条件信号，例如文本提示或第一/最后一帧，这限制了对叙事结构和时间节奏的精确控制。在本文中，我们提出了 SmartDirector，一个通过多个关键帧增强视频生成模型的叙事能力的框架。 SmartDirector支持灵活的生成场景，包括单镜头生成、多镜头叙事合成、视频扩展。该框架分两个阶段运行：Director-Gen 根据提供的关键帧生成低分辨率视频，Director-SR 通过利用高分辨率关键帧作为语义锚来恢复细粒度细节来细化输出。为了实现强大的多关键帧训练，我们构建了一个数据管道，用于管理电影中的单镜头和多镜头序列。大量实验表明，SmartDirector 的性能大大优于现有的最先进方法。我们将发布代码以方便进一步的研究。