论文
Venus-DeFakerOne:统一的假图像检测和定位
Venus-DeFakerOne: Unified Fake Image Detection & Localization
摘要
近年来,生成式人工智能的快速发展从根本上重塑了图像伪造的范式,打破了文档编辑、自然图像处理、DeepFake 生成和全图像 AIGC 合成之间的传统界限。尽管朝着统一伪造生成的方向转变,但现有的伪造图像检测和定位(FIDL)研究仍然支离破碎。这造成了日益统一的伪造生成机制和特定领域的检测范例之间的不匹配。弥合这种不匹配给 FIDL 带来了两个关键挑战:理解跨域伪影传输和干扰,以及构建用于联合检测和定位的高容量统一基础模型。为了应对这些挑战,我们提出了 DeFakerOne,这是一种集成 InternVL2 和 SAM2 的以数据为中心的统一 FIDL 基础模型。 DeFakerOne 可在不同场景下同时进行图像级检测和像素级伪造定位。大量实验表明,DeFakerOne 实现了最先进的性能,在 39 个伪造检测基准和 9 个本地化基准上均优于基准。此外,该模型对现实世界的扰动和 GPT-Image-2 等最先进的生成器表现出卓越的鲁棒性。最后,我们对数据缩放规律、跨域伪影传输干扰模式、细粒度监督的必要性以及原始分辨率伪影保留进行了系统分析,强调了可扩展、鲁棒和统一的 FIDL 的设计原则。