论文

迈向高保真换脸:全面调查和新基准

Towards High Fidelity Face Swapping: A Comprehensive Survey and New Benchmark

模型评测基准与评测资源

摘要

近年来,面部交换取得了重大进展,这主要是由 GAN 和扩散模型等深度生成模型的进步推动的。尽管取得了这些进步,现有方法在不同范式中仍然支离破碎,并且由于缺乏标准化数据集和协议,它们的评估高度不一致。此外,之前的调查主要集中在更广泛的深度伪造生成或检测上,使得面部交换作为一个独立问题没有得到充分研究。在本文中,我们提出了面部交换的全面调查和基准。我们对现有方法进行了结构化审查,将它们组织成五个主要范式,并系统地分析了它们的设计原则、优点和局限性。为了实现公平和受控的评估,我们引入了CASIA FaceSwapping,这是一个具有均衡人口分布和明确属性变化的高质量基准,并建立了标准化协议来评估不同换脸方法的稳健性。对代表性方法的广泛实验对当前技术的性能特征和局限性产生了新的见解。总的来说,我们的工作提供了统一的视角和原则性的评估框架,以促进更鲁棒、可控的换脸方法的开发。更多结果可以在 https://github.com/CASIA-NLPRAI/face-swapping-survey 找到。