Deepfake 基准衡量什么？使用冻结的自我监督陈述进行审计

随着 Deepfake 生成器接近感知不可区分性，可靠的检测变得至关重要。然而，在基准测试中得分较高的检测器通常会在野外失败。一个令人担忧的反馈循环已经出现：基准测试驱动着越来越复杂的工程检测器，但如果这些基准测试不能反映现实世界的深度伪造，那么这种复杂性可能完全解决了错误的问题。这就提出了一个先前的问题：这些基准实际上衡量的是什么？我们使用故意简单的诊断来对视频、图像和音频深度伪造基准进行审核。如果对冻结的通用自监督表示的线性探针可以近似定制检测器的性能，则基准在很大程度上奖励一般模态理解而不是取证理解。这有两个含义：基准可能无法反映现实的威胁模型，并且提出了这样的问题：探测方法的定制探测器是否真正能够学习取证理解。我们观察到，在三种模式中，通用自监督表示的线性探针非常接近定制检测器的性能。我们进一步表明，生成器级别的难度可以部分地由同一表示空间中的 Frechet 几何解释。总之，这些结果支持了深度伪造检测的基准审计观点：在将高分视为取证理解的证据之前，值得询问有多少基准已经通过通用表示解决。