论文
TeleMorpher:实现稳健的同步运动位置编辑
TeleMorpher: Toward Robust Simultaneous Motion-Location Editing
摘要
扩散模型在图像和视频生成和编辑方面取得了显着的成功。尽管最近的研究已将这些努力扩展到动作编辑,但同时转换动作和位置(尽管其实际重要性)仍然很大程度上尚未得到探索。为了更好地理解强大的运动位置编辑,我们首先分析降低其质量的基本因素。基于此分析,我们提出了 TeleMorpher,这是据我们所知第一个用于同步运动位置编辑的一次性框架之一。我们的方法利用运动先验、从现成模型生成的以目标运动为中心的视频作为运动编辑指导,以及 真值 运动来实现更可控和更精确的运动位置编辑。通过这个,我们的框架的工作原理如下:(1)我们首先通过预先训练的分割和修复模型来解开主角和背景。 (2)然后,我们引入一个无需训练姿势扭曲,它以先前的动作为指导来编辑主角的动作。 (3)在推理过程中,扭曲运动视频的结果被直接注入基线运动编辑器,在保留源视频外观的同时,减少源运动和目标运动之间的差异。 (4)为了提高定量评估的可靠性,我们提出了两种基于LPIPS的新指标,通过测量源视频和目标视频中提取的主角骨架之间的差异来衡量运动编辑前后的背景一致性以及运动编辑性能的保真度。野外视频和 TaiChi 数据集的实验表明,TeleMorpher 在定量和定性测量(真人评估)方面均实现了卓越的性能,凸显了其有效性。