GSwap：具有动态神经高斯场的逼真头部交换

我们推出了 GSwap，这是一种新颖的一致且逼真的视频换头系统，由动态神经高斯肖像先验提供支持，显着提高了面部和头部替换的技术水平。与之前主要依赖 2D 生成模型或 3D Morphable Face Models (3DMM) 的方法不同，我们的方法克服了它们固有的局限性，包括 3D 一致性差、不自然的面部表情和有限的合成质量。此外，由于整体头部建模不足和背景混合无效，​​现有技术难以完成完整的头部交换任务，通常会导致可见的伪影和错位。为了应对这些挑战，GSwap 引入了嵌入全身 SMPL-X 表面的固有 3D 高斯特征场，有效地将 2D 肖像视频提升为动态神经高斯场。这项创新可确保高保真、3D 一致的肖像渲染，同时保留自然的头部躯干关系和无缝运动动态。为了便于训练，我们仅使用少量参考图像将预训练的 2D 肖像生成模型适应源头域，从而实现高效的域适应。此外，我们提出了一种神经重新渲染策略，将合成的前景与原始背景和谐地结合在一起，消除混合伪影并增强真实感。大量实验表明，GSwap 在多个方面超越了现有方法，包括视觉质量、时间连贯性、身份保存和 3D 一致性。