FUSED：用于人工智能修复检测和定位的取证语义专家组合

基于扩散的修复模型仅修改图像的局部部分，而许多人工智能图像检测器依赖于全局伪影并且不进行局部化。这些伪影因发生器而异，限制了分布变化下的检测器传输。最近的工作表明，恢复修复区域之外的真实像素会消除这些线索，并可能降低预训练的检测器的性能。为了解决这个问题，我们提出了 FUSED，一个用于联合检测和定位人工智能生成的修复的统一框架。 FUSED 使用稀疏门控混合专家架构将底层取证线索与高级语义特征相结合，使模型能够自适应地优先考虑每个标记最相关的信号。对于每个输入，FUSED 都会预测图像级操作分数和修复区域的像素级掩模。在 OpenSDID 跨生成器基准测试中，FUSED 实现了最佳平均检测和定位，在未见过的生成器上获得了最大收益。同一模型直接转移到保留的 AutoSplice 和 CocoGlide 基准测试，本地化性能提高了一倍以上。在有和没有全局生成器工件的情况下评估每个保留的基准进一步表明，所有评估的方法（包括我们的方法）部分地将工件视为操纵的证据，并且 FUSED 在这两种情况下仍然是最强的。代码和预训练模型可在 https://github.com/AntonNuzhdin/FUSED 获取。