TRACE：使用第一帧轨迹引导在视频中进行对象运动编辑

我们研究视频中的对象运动路径编辑，其目标是改变目标对象的轨迹，同时保留原始场景内容。与主要操纵外观或依赖于基于点轨道的轨迹控制的先前视频编辑方法不同，这对于用户在推理过程中提供通常具有挑战性，尤其是在具有相机运动的视频中，我们提供了一种实用且易于使用的方法来进行可控的以对象为中心的运动编辑。我们提出了 Trace，一个框架，使用户能够在单个锚帧中设计所需的轨迹，然后合成时间一致的编辑视频。我们的方法通过两阶段管道来解决此任务：一个跨视图运动转换模块，将第一帧路径设计映射到相机运动下的帧对齐框轨迹；以及一个运动条件视频重新合成模块，该模块遵循这些轨迹来重新生成对象，同时保留输入视频的剩余内容。对各种现实世界视频的实验表明，我们的方法比最近的图像到视频和视频到视频方法产生更连贯、真实和可控的运动编辑。