论文

MemCam:内存增强相机控制,可生成一致的视频

MemCam: Memory-Augmented Camera Control for Consistent Video Generation

应用与实践内容创作

摘要

交互式视频生成在场景模拟和视频创建方面具有巨大潜力。然而,由于上下文信息有限,现有方法常常难以在动态摄像机控制下的长视频生成过程中保持场景一致性。为了应对这一挑战,我们提出了 MemCam,这是一种内存增强的交互式视频生成方法,它将先前生成的帧视为外部存储器,并利用它们作为上下文条件来实现具有高场景一致性的可控相机视点。为了实现更长、更相关的上下文,我们设计了一个上下文压缩模块,将内存帧编码为紧凑的表示,并采用基于共同可见性的选择来动态检索最相关的历史帧,从而减少计算开销,同时丰富上下文信息。交互式视频生成任务的实验表明,MemCam 在场景一致性方面显着优于现有的基线方法以及开源最先进的方法,特别是在相机旋转较大的长视频场景中。