使用身份保留潜在扩散模型进行面部修复

面部修复技术以视觉逼真的方式恢复丢失或遮挡的面部区域，但在最终输出中保留身份仍然是一个基本挑战。身份一致性对于人脸识别、数字取证和人机交互等下游应用至关重要，在这些应用中，即使是细微的身份扭曲也会显着降低性能或信任度。尽管基于扩散的生成模型最近在图像修复方面取得了显着的进展，但它们常常难以忠实地保留个人特定的面部特征。另一方面，现有的身份感知方法通常依赖于昂贵的 微调、辅助监督，或者对不同的遮挡、姿势和面部变化表现出有限的鲁棒性。为了解决这些限制，我们提出了 ID-ControlNet，这是一种基于潜在扩散模型构建的身份保留面部修复框架。基于 ControlNet 架构，我们的方法调节从预训练的人脸识别网络中提取的人脸身份嵌入的扩散过程。这种设计能够重建被遮挡的面部区域，同时保持全局面部连贯性和身份保真度。此外，我们引入了身份一致性和三元组损失训练策略，该策略明确强制生成的人脸和目标身份表示之间的对齐。在 CelebA-HQ、FFHQ 和新的 E-Mask 数据集上进行的大量实验表明，与标准的基于扩散的修复方法相比，ID-ControlNet 显着改善了身份保留，实现了与 SOTA 身份感知方法相当的性能。