几何指导的视频编辑

对象级几何编辑，包括平移、旋转、缩放、复制或删除对象，是数字内容创建 (DCC) 工作流程中的常规操作，但它们在生成视频编辑中仍然不可靠。关键的挑战在于明确指定目标对象在视点和时间上的 3D 状态变化，同时持续更新依赖于几何形状的二次效果，例如阴影和反射。我们引入了 GIVE，一个几何指令的视频编辑框架，它通过统一的对象状态公式表示编辑。两个视频对齐的几何流描述编辑前后的目标对象：编码粗略 3D 位置和范围的深度盒，以及提供与外观无关的方向提示的方向盒。这些流共同为对象状态转换提供了紧凑的前/后几何规范。为了为学习这些编辑提供配对监督，我们构建了一个可扩展的图形引擎管道，该管道执行对象级编辑程​​序并在配对之前/之后进行渲染控制，隔离预期的几何编辑，同时保持二次效果与变换一致。实验结果表明，GIVE 在统一的框架中产生了具有时间一致性和一致的二次效应的忠实几何编辑，并显示出向野外视频的良好迁移。项目页面：https://geometry-instructed-video-editing.github.io/give/