论文
IDDM:身份解耦的个性化扩散模型,具有可调节的隐私-效用权衡
IDDM: Identity-Decoupled Personalized Diffusion Models with a Tunable Privacy-Utility Trade-off
摘要
个性化的文本到图像扩散模型(例如 DreamBooth、LoRA)使用户能够从一些参考照片合成高保真头像以进行社交表达。然而,一旦这些代在社交媒体平台(例如 Instagram、Facebook)上共享,它们就可以通过面部识别系统链接到真实用户,从而实现身份跟踪和分析。现有的防御措施主要遵循反个性化策略,通过破坏模型 微调 来保护公开发布的参考照片。虽然它们可以有效防止未经授权的个性化,但它们并没有解决授权个性化的另一种实际环境,但由此产生的公共输出仍然会泄漏身份信息。为了解决这个问题,我们引入了一种新的防御设置,称为模型端输出免疫,其目标是生成一个个性化模型,支持授权个性化,同时减少公共代的身份可链接性,并对隐私与效用权衡进行可调控制,以适应不同的隐私需求。为此,我们提出身份解耦个性化扩散模型(IDDM),这是一种将身份解耦集成到个性化管道中的模型端防御。具体而言,IDDM 遵循交替过程,将短个性化更新与身份解耦数据优化交织在一起,使用两阶段计划来平衡身份可链接性抑制和生成效用。跨多个数据集、不同提示和最先进的人脸识别系统的广泛实验表明,IDDM 始终如一地降低身份可关联性,同时保留高质量的个性化生成。