TrajectoryMover：视频中对象轨迹的生成运动

生成视频编辑通过规定对象的 3D 或 2D 运动轨迹，实现对视频中对象位置的创造性控制，同时保留视频的合理性和身份。然而，手动指定合理的完整运动轨迹（如弹跳球的弧线）需要时间和专业知识，因此可能不适合非专家或快速编辑的编辑任务。相比之下，在图像领域，生成对象翻译已被建立为一种简单的编辑任务，只需一次拖动即可将对象移动到新位置；然而对于视频来说仍然缺少等效的方法。我们提出了一种类似的新视频编辑任务，可以平移视频中对象的 3D 运动轨迹，同时保留外观和运动的同一性和合理性，例如，平移弹跳球的轨迹，同时保留其相对运动。训练该任务的主要挑战在于获取该场景的配对视频数据。我们引入了 TrajectorySynth，一种用于大规模合成配对视频数据的新数据生成策略，以及使用该数据进行微调的视频生成器 TrajectoryMover。我们证明这可以实现物体轨迹的生成运动。项目页面：https://chhatrekiran.github.io/trajectorymover