论文
TGIF2:扩展文本引导修复伪造数据集和基准
TGIF2: Extended Text-Guided Inpainting Forgery Dataset & Benchmark
摘要
生成式人工智能使文本引导修复成为一种强大的图像编辑工具,但同时也给媒体取证带来了越来越大的挑战。现有的基准,包括我们的文本引导修复伪造(TGIF)数据集,表明图像伪造定位(IFL)方法可以定位拼接图像中的操作,但在完全重新生成(FR)图像中却无法定位,而合成图像检测(SID)方法可以检测完全重新生成的图像,但无法执行定位。随着新的生成修复模型的出现以及 FR 图像定位的开放问题仍然存在,需要更新的数据集和基准。我们推出了 TGIF2,它是 TGIF 的扩展版本,它捕捉了文本引导修复的最新进展,并能够对取证稳健性进行更深入的分析。 TGIF2 通过 FLUX.1 模型生成的编辑以及随机非语义掩码增强了原始数据集。使用 TGIF2 数据集,我们进行了涵盖 IFL 和 SID 的取证评估,包括针对 FR 图像的 微调 IFL 方法和生成超分辨率攻击。我们的实验表明,IFL 和 SID 方法在 FLUX.1 操作上都会退化,突出表明泛化能力有限。此外,虽然 微调 改进了 FR 图像的定位,但使用随机非语义掩模的评估揭示了对象偏差。此外,生成超分辨率显着削弱了取证痕迹,表明常见的图像增强操作可能会破坏当前的取证流程。总之,TGIF2 提供了更新的数据集和基准,使人们能够对现代修复和基于人工智能的图像增强所带来的挑战有新的见解。 TGIF2 可从 https://github.com/IDLabMedia/tgif-dataset 获取。