论文

IREU:用于定制肖像生成的身份相关编码器仅取消学习

IREU: Identity-Related Encoder-Only Unlearning for Customized Portrait Generation

模型训练模型编辑与遗忘

摘要

定制肖像生成(CPG)技术已被广泛用于在给定指示身份的输入图像和指示所需编辑的文本提示的情况下生成高保真人物图像。然而,这些方法通过传播虚假视觉信息而带来重大的隐私风险。为了应对此类风险,每个公共生成模型都应该能够根据要求抑制其为特定人员提供的生成能力。因此,在这项工作中,我们研究了 CPG 的身份遗忘问题。由于该领域之前没有方法,因此我们提出了一个简单的基线,通过最小化生成图像和输入图像之间的身份相似性来更新图像编码器,以实现要忘记的目标身份,同时最大化它以保留身份。然而,我们发现特征空间中的这种全局扰动会损害生成图像的保真度,从而保留其他身份。为了解决这个问题,我们提出了一种新方法 IREU,它首先以离线方式定位与身份相关的特征,然后仅对它们执行特征扰动。实验结果表明,我们提出的方法IREU对于要遗忘的目标身份实现了更好的身份遗忘性能,并且对于要保留的其他身份也保持了高保真度。此外,我们未学习的图像编码器可以在具有相同编码器的不同生成器之间通用,而无需 微调,这对于实践中的部署是友好的。