论文

Impostor:由代理策划的真实 AIGC 操作本地化基准

Impostor: An Agent-Curated Benchmark for Realistic AIGC Manipulation Localization

模型评测基准与评测资源

摘要

生成图像编辑的最新进展提高了局部图像处理的真实性和可控性,为图像处理检测和定位(IMDL)提出了新的挑战。然而,现有的 IMDL 基准在视觉真实感、操作多样性和生成器覆盖率方面仍然存在局限性,使其难以反映图像操作的最新趋势。为了解决这些限制,我们引入了 Impostor,这是一个高质量的 AI 编辑图像处理本地化数据集,包含 100K 处理过的图像。 Impostor 由 CraftAgent 构建,这是一个闭环代理框架,集成了场景感知、编辑规划、操纵执行、质量验证和迭代反射,自动生成多样化且视觉逼真的操纵图像。此外,Impostor 包含由 7 个最新 AIGC 模型跨三种操作类型生成的图像,并包括多个操作区域,为基于 AIGC 的 IMDL 提供了更全面的基准。此外,我们提出了 PhaseAware-Net (PANet),这是一种语义取证框架,引入局部阶段建模和语义取证一致性学习,以更好地定位语义上合理但取证破坏的操作区域。大量实验表明,Impostor 对现有的大型视觉语言模型 (LVLM) 和专门的 IMDL 方法提出了重大挑战,而 PANet 在 Impostor 和多个公共基准测试上实现了卓越的性能。