论文
当 AUC 误导时:域转移下 Deepfake 探测器的偏振感知评估
When AUC Misleads: Polarization-Aware Evaluation of Deepfake Detectors under Domain Shift
摘要
生成人工智能的最新进展,例如扩散模型和换脸工具,已经能够创建高度逼真的深度伪造品,从而导致现实世界的危害,包括金融欺诈和未经同意的露骨内容。因此,深度伪造检测已成为一个活跃的研究领域,最近的方法越来越注重提高对看不见的操作的泛化能力。通常使用跨多个数据集单独测量的 ROC 曲线下面积 (AUC) 来评估这一点。然而,这样的评估无法反映探测器面临混合数据源和不同工件类型的现实场景。为了解决这个限制,我们引入了一种新的指标,跨数据集 AUC(Cross-AUC),它使用预测极化的度量来平均每个域的 AUC,以考虑域移位的鲁棒性。极化程度通过班级分数分布之间的 Wasserstein 距离进行量化。 Cross-AUC 不仅可以更真实地评估 Deepfake 检测器在域转移下的泛化能力,而且它也是可解释的,因为它可以更好地解释性能下降背后的原因。在七个基准数据集上进行的实验证明了其实际相关性。