论文

SciFigDetect:人工智能生成的科学图形检测的基准

SciFigDetect: A Benchmark for AI-Generated Scientific Figure Detection

模型评测基准与评测资源

摘要

现代多模式生成器现在可以以接近可出版的质量生成科学数据,这为视觉取证和研究完整性带来了新的挑战。与传统的人工智能生成的自然图像不同,科学图形是结构化的、文本密集的,并且与学术语义紧密结合,使它们成为独特且难以检测的目标。然而,现有的人工智能生成的图像检测基准和方法几乎完全是为开放域图像开发的,使得这种设置在很大程度上未被探索。我们提出了人工智能生成的科学图形检测的第一个基准。为了构建它,我们开发了一个基于代理的数据管道,用于检索许可的源论文,对论文文本和图形进行多模式理解,构建结构化提示,合成候选图形,并通过审阅驱动的细化循环过滤它们。由此产生的基准涵盖多个图形类别、多个生成源和对齐的真实-合成对。我们在零样本、跨生成器和退化图像设置下对代表性探测器进行基准测试。结果表明,当前的方法在零样本传输中显着失败,表现出强烈的特定于生成器的过度拟合,并且在常见的后处理损坏下仍然脆弱。这些发现揭示了现有 AIGI 检测能力与新兴的高质量科学数据分布之间存在巨大差距。我们希望这个基准可以作为未来研究稳健且可推广的科学数字取证的基础。该数据集可从 https://github.com/Joyce-yoyo/SciFigDetect 获取。