OmniDirector：无需交叉配对数据的通用多镜头摄像机克隆

从参考视频克隆相机运动是视频生成中的一项重要任务，因为视频提供直观且精确的控制。现有的方法要么直接使用无法处理多镜头生成的参数表示，要么合成交叉配对数据，这会受到数据稀缺的影响，导致复杂的相机运动克隆性能较差。为了解决这些问题，我们引入了一种通用的相机运动表示，将相机编码为网格运动视频。该相机网格直观地表示相机参数，并支持集成多种轨迹以生成多镜头视频。在此基础上，我们提出了 OmniDirector，这是一个经过百万级摄像机网格视频对训练的统一框架，可协调角色、动作和摄像机，为多模态扩散 Transformer 提供导演级控制。此外，我们设计了一种新颖的分层提示扩展代理，通过理解信号关系来系统地描述相机运动和视觉内容，和谐地集成不同的控制信号。大量的实验证明了我们的框架的优越性能和出色的可控性。项目页面：https://ymlinfeng.github.io/OmniDirector.github.io/