论文

视觉语言模型可以推理图像中的人工智能编辑吗?

Can Vision-Language Models Reason about AI Edits in Images?

模型训练强化学习

摘要

人工智能篡改图像的检测和定位对于值得信赖的人工智能至关重要,但现代生成模型使此类操作越来越难以识别。虽然传统的二元分类器可以检测图像篡改,但它们缺乏可解释性和泛化性。视觉语言模型(VLM)因其强大的视觉理解和推理能力而提供了一种有前途的替代方案;然而,现有的方法通常依赖于有组织的解释的监督微调,而不是利用其固有的推理能力。在这项工作中,我们研究了是否可以训练 VLM 来使用强化学习 (RL) 而不是显式推理监督来推理 AI 生成的图像编辑。受组相对策略优化 (GRPO) 成功的启发,GRPO 是一种强化学习技术,通过在给出最终答案之前生成思维轨迹来激励模型进行推理,我们提出了一种基于 GRPO 的训练框架,该框架利用简单的准确性和格式奖励。给定输入图像,该模型会生成结构化推理轨迹并预测图像是否已被篡改。然后,推理输出引导轻量级分割模型生成像素级定位掩模。跨多个图像处理数据集的实验表明,与最先进的图像伪造检测器相比,我们的方法实现了有竞争力的检测和定位性能,尽管需要的监督要弱得多。我们引入了有效的并集交集(eff-IoU),这是一种联合评估检测和定位的统一指标。这些结果表明,强化学习为教导 VLM 推理 AI 生成的内容提供了一种有效且可扩展的机制。