学习可动画高斯头像的语义修复

我们提出了 SInGA，一种从单个图像学习可动画高斯头部头像语义修复的新方法。现有的化身方法通常依赖于多视图观察，并且缺乏对单视图设置中未观察区域的有效处理，限制了它们在此类场景中的适用性。为了解决这个问题，我们提出了一种在 UV 空间中定义的语义修复框架，用于完成未观察到的面部区域。我们的关键见解在于 UV 表示的结构化拓扑，它提供了一致的空间对应关系，并能够使用人脸固有的对称线索可靠地完成特定于身份的特征。我们从观察到的区域中提取特征，并用它们来完成未观察到的区域。然后使用完成的表示来回归高斯属性，有效地执行高斯修复。此外，我们不是在每个表面或像素位置依赖单个高斯，而是堆叠多个高斯来增强细节。生成的化身可以跨身份进行概括，无需针对每个身份进行优化，并且可以通过驱动输入进行动画处理。实验结果表明，我们的方法生成了高质量的头部头像，具有更高的完整性和身份保留，同时支持逼真的动画和未观察到的视图的一致渲染。