论文

RealCam:通过交互式摄像机控制生成实时新视角视频

RealCam: Real-Time Novel-View Video Generation with Interactive Camera Control

应用与实践内容创作

摘要

摄像机控制的视频到视频 (V2V) 生成可实现单目镜头的动态视点合成,为交互式电影制作和直播带来巨大潜力。然而,现有的隐式综合方法从根本上依赖于非因果、全序列处理和严格的前缀式时间连接。这种架构范式要求双向关注,导致计算延迟过高、复杂度二次缩放以及与实时流或可变长度输入固有的不兼容性。为了克服这些限制,我们引入了 \texttt{RealCam},这是一种新颖的自回归框架,用于交互式、实时摄像头控制的 V2V 生成。我们首先设计一个基于 \textbf{跨框架上下文学习}范式的高保真教师模型。通过将源帧和目标帧交织成同步的上下文对,我们的设计本质上实现了与长度无关的泛化,并自然地促进了因果适应,打破了严格的前缀瓶颈。然后,我们通过分布匹配 蒸馏 的自强迫,将该教师提炼为几步因果学生,从而实现高效、动态的流合成。此外,为了减轻闭环轨迹中严重的循环不一致问题,我们提出了 \textbf{Loop-Closed Data Augmentation (LoopAug)},这是一种从现有多视图数据集中合成全局一致的循环序列的新范例。大量的实验表明,\texttt{RealCam} 实现了最先进的视觉保真度和时间一致性,同时实现了真正的交互式相机控制,推理速度比现有范例快几个数量级。我们的项目页面位于 https://xyc-fly.github.io/RealCam/。