论文
EchoStyle:通过反向数据合成解锁高保真视频风格
EchoStyle: Unlocking High-Fidelity Video Stylization with Reverse Data Synthesis
摘要
虽然图像风格化已被广泛研究,但视频风格化仍然是智能内容创建领域的一个关键且很大程度上尚未解决的挑战。现有的方法通常利用参考图像作为风格先验,存在内容泄漏、数据稀缺和对长视频的适应性有限的问题,导致结果不理想,具有严重的风格漂移和运动失真。针对这些问题,我们提出了 EchoStyle,一个可扩展的文本驱动框架,用于实现任意长度视频的高质量风格化。首先,我们构建了一个视频到视频的架构,以适当地重新融合视频内容和文本样式。为了解决数据稀缺问题,我们开创了自动反向合成管道来建立 V-Style20k,这是一个包含 20k 高质量视频对的大规模风格化数据集。为了促进长视频风格化,我们设计了一种初始跟随模式机制以及滑动窗口推理策略。大量的实验证明了 EchoStyle 在各种艺术风格中的卓越性能,甚至可以与领先的闭源解决方案相媲美。