论文

Forensic Twins:只用真实图像学习生成图像取证特征

Forensic Twins: Self-Supervised Residual Learning for AI-Generated Image Forensics

AI 基础设施AI安全与内容治理基础设施

摘要

人工智能生成图像的检测器通常使用它们必须捕获的所有生成式人工智能架构中的样本进行训练,并且一旦新架构出现就会陷入困境。最近的方法已经探索了自我监督预训练作为替代解决方案,但标准框架却与取证任务背道而驰,例如,它们的增强会覆盖图像形成的微观统计数据。本文介绍了 Forensic Twins,这是一种自监督残差学习 (SSRL) 框架,其预训练任务抑制了宏观内容的可用性。每张图像都通过冻结的、现成的取证残差提取器进行映射,从中绘制出两个空间上不相交的裁剪区域。两个视图不共享像素,保留了要对齐的最小语义结构,留下了具有主要公共信号的冗余减少目标:图像采集管道的静态指纹。此外,Forensic Twins 专门针对真实图像进行训练;在任何阶段都不会观察到人工智能生成的图像。实验表明,Forensic Twins 对 AI 生成器来源的准确度为 56.61%,比之前最先进的零样本方法高出 6.13%,延迟降低了 375 倍。我们还证明,仅使用从 Forensic Twins 中提取的真实图像嵌入来离线拟合高斯混合模型 (GMM),可以将其变成最先进的零样本检测器,在 27 个未见过的 AI 生成器(包括 GAN、扩散模型和商业系统)中达到 97.99% AUC。代码、权重和准确的划分将公开

Forensic Twins嵌入的t-SNE可视化,分别按语义类别和生成器来源着色。
图2(图注摘要):Forensic Twins嵌入的t-SNE可视化,分别按语义类别和生成器来源着色。