论文

Smart-Insertion-V:通过闭环反馈双流框架实现真实感视频插入

Smart-Insertion-V: Photorealistic Video Insertion via a Closed-Loop Feedback Dual-Stream Framework

应用与实践内容创作

摘要

无掩模视频对象插入已成为一项具有挑战性的任务,需要将参考对象和谐地集成到源视频中。然而,当引用与源场景表现出严重的风格领域差距时,现有方法就会遇到困难。为了克服这个问题,我们提出了 \textit{\textbf{Smart-Insertion-V}},一个端到端的 \textbf{Dual-Stream} 框架,可以同时进行视频插入和图像风格传输。在此框架内,图像流同步引导视频生成过程,同时进一步结合了闭环反馈机制以确保稳健的插入。整合这些不同的调节信号不可避免地会导致特征纠缠和风格泄漏。为了解决这个问题,我们设计了 \textbf{Dual-World-View RoPE} 来通过时空偏移区分不同的信号,而不会产生大量的训练开销。此外,为了促进空间基础和风格适应,我们引入了一个 \textbf{解耦指导模块},它利用视觉语言模型进行语义推理,同时使用本机文本编码器保留原始时间指导。为了弥合数据差距以实现和谐的参考插入任务,我们提出了一个数据管理管道并将发布一个 \textbf{开源数据集}。实验表明,我们的方法可以将对象插入到合理的位置,同时实现最和谐的结果。