论文
主干网就是您所需要的:评估合成图像取证中冻结基础模型的漏洞
Backbone is All You Need: Assessing Vulnerabilities of Frozen Foundation Models in Synthetic Image Forensics
摘要
随着人工智能生成的合成图像变得越来越逼真,Vision Transformer (ViTs) 已成为现代深度换脸检测的基石。然而,对冻结的、预先训练的骨干网的普遍依赖引入了一个微妙但严重的漏洞。在这项工作中,我们提出了代理迭代对抗攻击(SIAA),这是一种灰盒攻击,它仅利用检测器 ViT 主干的知识,并完全在目标检测器的特征空间内运行,以制作高效的对抗示例。通过我们的实验,涉及多个基于 ViT 的检测器和不同的灰盒场景,包括少样本学习、完整的训练错位和攻击可转移性测试,我们证明该漏洞始终能产生很高的攻击成功率,通常接近白盒性能。通过这样做,我们发现仅主干知识就足以破坏探测器的可靠性,突显了对抗性多媒体取证中迫切需要更具弹性的防御。