论文
反 I2V:保护您的照片免受恶意图像到视频生成的影响
Anti-I2V: Safeguarding your photos from malicious image-to-video generation
摘要
基于扩散的视频生成模型的进步虽然显着改善了人类动画,但通过根据特定人的照片和文本提示创建虚假视频而带来了滥用的威胁。最近的工作重点是对抗性攻击,这些攻击引入精心设计的扰动来保护图像免受基于扩散的模型的影响。然而,大多数现有方法都以图像生成为目标,而明确解决图像到视频扩散模型 (VDM) 的方法相对较少,并且大多数主要关注基于 UNet 的架构。因此,它们对 Diffusion Transformer (DiT) 模型的有效性仍然在很大程度上尚未得到充分探索,因为这些模型表现出改进的特征保留,以及由于更大的容量和先进的注意力机制而更强的时间一致性。在这项工作中,我们介绍了 Anti-I2V,这是一种针对恶意人类图像到视频生成的新颖防御方法,适用于各种扩散主干网。 Anti-I2V 没有将噪声更新限制在 RGB 空间,而是在 $L$*$a$*$b$* 和频域中运行,从而提高了鲁棒性并专注于显着像素。然后,我们确定在去噪过程中捕获最独特语义特征的网络层,以设计适当的训练目标,最大限度地降低时间一致性和生成保真度。通过广泛的验证,Anti-I2V展示了针对多种视频扩散模型的最先进的防御性能,为该问题提供了有效的解决方案。