4Director：使用刚性 3D 几何控制视频世界模型

对摄像机和物体运动的精确控制对于专业视频制作至关重要。现有方法仅通过深度和旋转不明确的图像平面线索或通过缺乏完整几何形状并在视点变化时失去一致性的 3D 轨迹和斑点来粗略地控制对象。我们引入了 4Director，一种以显式 4D 场景表示为条件的视频世界模型：每个对象都从输入图像作为规范网格重建一次，并通过每帧一个指定的刚性变换进行移动。这种表示提供了直观的 3D 控制界面，并防止未观察到的几何体在每个帧中独立重新生成。我们将受控场景渲染为深度视频，并引入运动适配器，将几何脚手架转换为视频，同时合成视图一致的外观、照明和非刚性动态。为了进行训练，我们构建了 RealCOD-Rigid，这是一个由 20,774 个剪辑组成的新数据集，通过我们的自动管道用刚性 3D 场景进行注释。我们进一步引入身份门控 IoU（IG-IoU），它联合评估对指定对象运动的遵守情况和对象身份的保留。实验表明，4Director 在视觉质量以及摄像机和对象控制方面始终优于先前的方法。