论文

通过降噪器响应的频谱耦合进行扩散模型归因

Diffusion Model Attribution via Spectral Coupling of Denoiser Responses

模型评测安全与风险评测

摘要

将生成的图像归因于其源扩散模型是出处验证和知识产权保护的基本挑战。这个问题特别困难,因为在不同数据集上训练的扩散模型可以收敛到相似的评分函数,从而收敛到相似的输出分布,使得生成的图像本身作为归因证据不可靠。现有的非侵入性方法要么在架构相似的变体上失败,要么依赖于当模型共享相同的自动编码器时消失的信号。我们提出了频谱去噪签名(SDS),这是一种非侵入性归因方法,通过对每个候选模型的去噪行为进行指纹识别来识别源模型。我们的主要见解是,模型的去噪得分函数表现出独特的频谱几何形状,反映在去噪期间它如何在空间频带上重新分配能量。通过使用频率控制的扰动探测这种行为,SDS 提取了模型固有的稳定特征,仅需要标准前向传递,无需反转、优化或生成时注册。我们的结果表明,SDS 在八种不同的扩散模型中实现了约 99.9% 的准确率,在跨域快速转换下实现了 96.2% 的准确率,在训练数据、架构和训练程序的变化中优于非侵入性基线,建立了光谱几何作为扩散模型归因的原则和实践基础。代码位于:https://github.com/Pragati-Meshram/SGS