MetaCloak-JPEG:用于防止未经授权的基于 DreamBooth 的 Deepfake 生成的 JPEG 鲁棒对抗扰动
MetaCloak-JPEG: JPEG-Robust Adversarial Perturbation for Preventing Unauthorized DreamBooth-Based Deepfake Generation
摘要
主题驱动的文本到图像合成的快速进展,特别是 DreamBooth,已经实现了无需同意的深度伪造流程:对手只需要 4-8 个公开可用的面部图像即可微调个性化扩散模型并生成逼真的有害内容。当前的对抗性面部保护系统——PhotoGuard、Anti-DreamBooth 和 MetaCloak——扰乱用户图像以破坏替代品 微调,但它们都具有结构性盲目性:没有一个通过每个主要社交媒体平台在对手访问之前应用的 JPEG 压缩管道来反向传播梯度。由于 JPEG 量化依赖于 round(),而其导数几乎在所有地方都为零,因此对抗性能量集中在 JPEG 丢弃的高频 DCT 频带中,从而消除了 60-80% 的保护信号。我们引入了 MetaCloak-JPEG,它通过插入基于直通估计器 (STE) 的可微分 JPEG (DiffJPEG) 层来弥补这一差距:前向传递应用标准 JPEG 压缩,而后向传递则用恒等式替换 round()。 DiffJPEG 嵌入在双层元学习循环内的 JPEG 感知 EOT 分布(约 70% 的增强包括 DiffJPEG)和课程质量因素表(QF:95 至 50)中。在 eps=8/255 的 l-inf 扰动预算下,MetaCloak-JPEG 达到 32.7 dB PSNR、91.3% JPEG 存活率,并且在 4.1 GB 训练内存预算内,在所有 9 个评估的 JPEG 质量因素上均优于 PhotoGuard(9/9 获胜,平均去噪损失增益 +0.125)。