论文

ReAlign:通过推理对齐表示进行广义图像伪造检测

ReAlign: Generalizable Image Forgery Detection via Reasoning-Aligned Representation

摘要

人工智能生成图像 (AIGI) 的兴起对数字真实性提出了越来越大的挑战,促使人们需要高效、通用的图像伪造检测系统。现有方法,无论是非基于 LLM 的方法还是基于 LLM 的方法,都表现出明显的优点和局限性。虽然非基于 LLM 的模型提供高效的低级伪影检测,但它们通常缺乏语义理解。相反,基于 LLM 的方法提供了强大的语义推理和可解释性,但计算量大且对微妙的视觉伪影不太敏感。此外,解释性推理文本对伪造检测性能的真正贡献仍不清楚。在这项工作中,我们研究了 LLM 生成的推理文本的内在价值和潜力,认为它是泛化和语义错误敏感性的来源。基于这些发现,我们提出了 ReAlign,这是一种新颖的框架,可通过对比学习将 GRPO 优化的 LLM 生成的高质量推理文本提炼成轻量级 AIGI 检测器。 ReAlign有效继承了推理文本表示的泛化能力和语义敏感性能力,同时保持高效和轻量级的部署。此外,ReAlign 采用量身定制的联合优化策略,集成了图像文本对齐的对比损失和准确的伪造鉴别分类损失。 AIGCDetectBenchmark、AIGI-Holmes 和我们新构建的 UltraSynth-10k 的实验结果表明,ReAlign 在准确性和泛化方面始终优于现有最先进的检测器,特别是在面对来自现代生成模型的复杂、高保真伪造时。