人工智能生成的图像挑战高风险场景中的视觉信任

图像生成技术的快速进步正在侵蚀视觉内容在真实性可能影响公共安全和个人声誉的环境中的证据价值。然而，现有的检测基准很少在公共和个人安全环境中检查合成图像，其中误导性的视觉内容可能会带来巨大的风险。在这里，我们介绍 SafeIMG，这是一个面向安全的基准，涵盖使用 GPT Image 2 生成的 12 个公共和个人安全场景。与以通用图像和图像级标签为中心的基准不同，SafeIMG 不仅评估探测器是否识别合成图像，还评估其决策是否反映人类识别的异常。为此，SafeIMG 提供了人工注释，可以定位可疑区域并解释本地人工制品和更高级别的常识或物理不一致之处。我们评估了专门的合成图像检测器和视觉语言模型（VLM），发现两者都无法提供可靠的检测。最强的 VLM 只能识别 49.5% 的生成图像，而最好的专用检测器可以识别 33.1%，而人类评估者的准确度为 81.7%。模型解释仅涵盖 29.8% 的人类注释异常，并且主要捕获文本、面部和手部的局部缺陷。对于常识冲突，其覆盖率下降至 15.0%，对于物理不一致，其覆盖率下降至 12.0%，而在传播引起的图像退化后，检测性能进一步恶化。这些发现表明，当前的探测器缺乏在公共和个人安全环境中可靠地评估人工智能生成的图像所需的准确性、解释性对准和稳健性。