用于通用人工智能生成图像检测的相对补丁响应学习

生成模型现在可以合成高度逼真的图像，同时增加错误信息和视觉伪造的风险。因此，检测人工智能生成的图像变得更加重要，可靠的检测器必须泛化到看不见的生成器，并对野外看不见的扰动保持鲁棒性。现有的检测器通常在独立收集的真实和生成的图像或旨在减轻内容偏差的对齐的真实生成对上进行训练。在对齐对的基础上，最近的方法通过用生成的对应图像替换真实图像的一些斑块来形成混合视图。然而，我们发现自注意力可以让真实的补丁和生成的补丁交互，因此每个补丁的特征不再单独反映其自身的来源。这种上下文转变使得每个补丁源标签成为不精确的目标。为此，我们提出相对补丁响应学习（PRL）。 PRL 不是标记每个补丁，而是比较对齐对的两个混合视图中的相同补丁，并从其补丁响应以及视图之间分数的变化中学习。 (一) 至 为了在上下文转变下进行精确监督，相对响应目标衡量源更改补丁相对于源未更改补丁的响应，源未更改补丁仅响应偏移。 (ii) 为了为转变提供可靠的参考，参考一致性目标使每组源未改变的补丁作为一个整体移动。 (iii)由于两个视图包含不同数量的生成内容，区域排名目标要求具有较大生成区域的视图具有较高的平均补丁分数。大量实验证明了 PRL 的卓越性能，在 8 个标准基准和 3 个野外基准测试中，平均平衡精度分别比现有最佳方法高出 4.3% 和 5.9%。