Motion4Motion：推理时跨主体的运动转移

这项工作探索了从一个视频到另一个视频的动作转移，这对于不同角色的动画至关重要。此前，视频动作传输已在人类和类人角色之间进行了大量探索，在数字创作中实现了许多应用。然而，这些方法遇到了一个主要限制。具体来说，相关技术流程严重依赖于预定义的人体骨骼结构，因此需要骨骼条件模型训练。一方面，这些方法很难推广到不同的角色，例如不同物种的动物，同时保留其独特的运动风格。另一方面，不同骨架中的标记数据是有限的，这进一步限制了任务的大规模训练。在本文中，我们跳出了基于骨架的运动传输框架，提出了一种无需训练运动传输框架，命名为Motion4Motion。 Motion4Motion 对视频中角色的运动流而不是骨骼进行建模，这使得跨物种的运动转移变得更容易。广泛的实验结果和新颖的应用表明我们的方法明显优于基线。项目页面位于 https://lhchen.top/Motion4Motion。