论文
SynCred-Bench:对人工智能生成的视觉错误信息的综合可信度进行基准测试
SynCred-Bench: Benchmarking Synthetic Credibility in AI-Generated Visual Misinformation
摘要
最近的生成模型现在可以生成具有真实嵌入文本和布局的视觉工件,从而产生新的错误信息威胁:合成可信度。我们引入了 SYNCRED-Bench,它是 600 个人工智能生成的错误信息图像的基准,平衡了六个可信形式类别和七种细粒度循环样式,以及 FP450,一个用于测量误报的真实图像负集。广泛的评估表明,现有系统仍然不可靠:在 5% 假阳性率约束下,15 个 MLLM 仅实现 10.5% 真阳性率(TPR),开源 AIGC 检测器实现不到 5%,商业 API 达到 57.6%。人类注释者也很难识别合成可信度,TPR 仅达到 63%。这些发现将综合可信度确立为一个严重且尚未充分探索的视觉错误信息挑战,并为开发超越表面可信度线索的探测器提供了基准。