ViDS：使用 3D 面部跟踪的视频扩散着色器

我们推出 ViDS，这是一种视频扩散着色器，它利用 3D 面部跟踪来实现富有表现力和身份保护的肖像动画。我们首先根据参考图像重建特定于身份的 3DMM 网格，然后使用驾驶视频中的表情和姿势参数对其进行动画处理。利用 3DMM 法线贴图的密集几何线索，我们采用视频扩散模型作为神经着色器来合成逼真的肖像动画，同时保留参考图像的外观和身份。我们发现更准确的 3DMM 跟踪可以实现更细粒度的表达控制。我们还引入了自回归扩散采样过程，该过程将生成扩展到模型的本机窗口之外，同时减少相邻剪辑之间的不连续性。与先前依赖于基于地标的条件或隐式运动潜伏的基于扩散的肖像动画方法相比，我们的方法实现了更详细和一致的表达和姿势控制，同时忠实地保留了身份和外观。详细的消融研究验证了我们设计选择的有效性。项目页面：https://fusheng-ji.github.io/ViDS/