FraudBench：用于检测人工智能生成的欺诈退款证据的多模式基准

人工智能 (AI) 生成的图像变得越来越真实，并且很容易适应现实世界的主张，为验证视觉证据带来了新的挑战。一个具体的新兴风险是人工智能生成的退款欺诈，其中使用经过处理或合成的图像来支持有关产品损坏、交货条件不佳或服务相关缺陷的索赔。现有的人工智能生成的图像检测基准主要评估独立的真实性分类、跨生成器传输或取证定位，而对索赔条件的欺诈证据检测的探索还不够。为了弥补这一差距，我们引入了 FraudBench，这是一种用于检测人工智能生成的欺诈性退款证据的多模式基准。 FraudBench 根据电子商务、食品配送和旅行服务场景中的真实用户评论证据构建。我们整理真实的证据图像及其相关评论和产品元数据，通过 MLLM 辅助过滤和人工注释识别真正的损坏和未损坏的证据，并使用 12 个最先进的图像编辑和生成模型从真正的未损坏参考图像合成假损坏证据。使用 FraudBench，我们在相同的评估图像上评估 MLLM、专门的 AI 生成图像检测器和人类评估器。实验表明，当前的 MLLM 通常可以识别真实损坏的证据，但在许多假损坏子集上却失败，大多数生成器子集上的假损坏检测率 (TPR) 远低于 50\% 基线。专用检测器通常表现更好，但在生成器之间仍然不一致，并且可能对实际损坏的样本产生误报，揭示了通用人工智能图像检测和可靠的索赔条件退款证据验证之间的明显差距。