论文
FlowC2S:从当前帧流向后续帧,以实现快速且节省内存的视频连续性
FlowC2S: Flowing from Current to Succeeding Frames for Fast and Memory-Efficient Video Continuation
摘要
本文介绍了一种生成快速且节省内存的视频连续视频的新颖方法。我们的方法被称为 FlowC2S,它对预先训练的文本到视频流模型进行微调,以学习当前视频块和后续视频块之间的矢量场。两个设计选择是关键。首先,我们引入固有的最佳耦合,在训练期间利用时间相邻的视频块作为真正最佳耦合的实际代理,从而产生更直的流。其次,我们结合了目标反转,将目标块的反转潜伏注入到输入表示中,以加强对应性并提高视觉保真度。通过直接从当前帧流向后续帧,而不是使用当前帧与噪声的常见组合来生成视频延续,我们将模型输入的维度减少了两倍。所提出的方法经过 LTXV 和 Wan 的微调,在 FID 和 FVD 定量评估中超越了最先进的分数,神经功能评估仅需五次。