PIU：ID 条件扩散模型中的邻近引导身份遗忘

身份条件扩散模型可以生成高质量且身份一致的人脸，但它们也引起了严重的隐私问题，因为模型可能会继续合成个体，尽管他们有权被遗忘。虽然机器取消学习已经在概念和数据删除方面得到了广泛的研究，但身份取消学习在很大程度上仍未得到探索，特别是在直接以身份嵌入而不是文本提示为条件的模型中。在这项工作中，我们研究了 Arc2Face（一种用于人脸生成的最先进的身份条件潜在扩散模型）中的身份遗忘，并引入了邻近引导身份遗忘（PIU），这是一种用于身份遗忘的锚引导框架。具体来说，我们将身份删除制定为身份替换目标，将源身份重新分配给学习身份空间中选定的锚点身份，并用由 ArcFace 表示的几何形状驱动的基于邻近性的锚点选择策略对其进行补充。我们进一步表明，可以通过身份敏感交叉注意层的一个小子集的局部化 微调 来实现有效的忘却。跨多个目标身份的实验表明，我们的框架有效地抑制了目标身份的生成，同时保留了保留身份的真实性和身份一致性，这一点通过改善遗忘和图像质量指标的性能以及定性评估得到了验证。 PIU 身份遗忘框架的源代码已在 https://github.com/edgarcancinoe/piu-unlearning 上公开发布。