论文
SPIN:通过随机邻域中的单步投影对扩散编辑进行图像免疫
SPIN: Image Immunization Against Diffusion Editing via Single-Step Projection in Stochastic Neighborhoods
摘要
扩散模型具有非常先进的指令引导图像编辑功能,同时也引起了对未经授权的图像操作的担忧。图像免疫通过向输入图像添加难以察觉的扰动以扰乱后续编辑来解决此风险。由于编辑请求在图像发布时是未知的,因此除了用于构造扰动的指令之外,保护应该仍然有效。现有的免疫方法要么需要昂贵的全轨迹反向传播,要么使用中间目标,其效果可能会因后续去噪而减弱。同时,单个推理路径提供关于替代去噪延续的有限反馈。为了解决这些挑战,我们提出了 \textsc{SPIN},这是一种通过局部随机轨迹邻域的一步投影进行图像免疫的框架。从早期的去噪状态开始,\textsc{SPIN} 在同一指令下生成随机相邻状态,并通过一步投影预测其干净的潜变量,而无需完全展开。然后,我们优化有界输入扰动,以最大化这些预测与干净编辑参考的平均偏差,鼓励扰动破坏多种可能的编辑结果。在两个图像编辑器上进行的实验表明,在保护性能方面, \textsc{SPIN} 在已见指令和更具挑战性的未见指令设置下的所有六个指标上均优于比较方法。
