论文

FG-Portrait:3D 流程引导可编辑肖像动画

FG-Portrait: 3D Flow Guided Editable Portrait Animation

应用与实践内容创作

摘要

从驾驶到源肖像的运动传输仍然是肖像动画中的一个关键挑战。当前基于扩散的方法仅以驱动运动为条件,无法捕获源到驱动的对应关系,从而产生次优的运动传递。尽管流量估计提供了一种替代方案,但从 2D 输入预测密集对应关系是不恰当的,并且通常会产生不准确的动画。我们通过引入 3D 流来解决这个问题,这是一种无需学习且几何驱动的运动对应关系,直接从参数化 3D 头部模型计算得出。为了将此 3D 先验集成到扩散模型中,我们引入 3D 流编码来查询每个目标像素的潜在 3D 流,以指示其返回源位置的位移。为了获得与 2D 运动变化一致的 3D 流,我们进一步提出深度引导采样,以准确定位每个像素对应的 3D 点。除了高保真人像动画之外,我们的模型还支持用户指定的面部表情和头部姿势编辑。大量的实验证明了我们的方法在一致的驱动运动转移以及忠实的源身份保存方面的优越性。