论文
当扩散模型忘记你是谁时:大遮挡下面部修复中的身份保护
When Diffusion Models Forget Who You Are: Identity Preservation in Face Inpainting under Large Occlusions
摘要
使用扩散模型进行面部修复最近取得了令人印象深刻的视觉质量,但在严重遮挡和冲突的文本指导下保持身份保真度仍然是一个重大挑战。为了解决这个问题,我们提出了面部参考语义修复(ReSem-Face),这是一个级联扩散框架,它为多参考面部修复引入了显式的身份条件语义先验。我们的方法从多个参考中提取代表性身份特征来重建缺失的语义区域,然后通过多流调节架构指导扩散过程。当像素不存在时,这种设计提供了强大的语义约束,并稳定了身份重建,同时保持与提示驱动的编辑兼容。 CelebAHQ-IDI-5 和 VGGFace2 上的实验表明,与代表性基线相比,ReSem-Face 在严格的语义掩码下可以产生更可靠的身份保留完成,并提高文本控制的编辑质量。