论文
对现实退化下的人脸伪造检测的空间、光谱和自监督线索进行基准测试
Benchmarking Spatial, Spectral, and Self-Supervised Cues for Face Forgery Detection under Realistic Degradation
摘要
人脸伪造检测器通常在受控基准上取得出色的结果,但在实际图像质量下降的情况下其可靠性仍然有限。本文提出了使用多维人脸伪造图像 (MFFI) 数据集进行人脸伪造检测的标准化基准,并评估干净和降级测试分区的性能。我们比较了六个模型系列,包括卷积网络、基于 Transformer 的模型和冻结的自监督 DINOv3 主干,涵盖空间、光谱和混合输入表示。结果表明,干净设置性能并不是压缩、调整大小和模糊情况下鲁棒性的可靠指标。采用 RGB 的 Xception 获得了最佳的干净性能,平均 ROC-AUC 达到 0.884,但在较硬的分区上性能大幅下降。相比之下,冻结的 DINOv3 在仅训练线性分类头的情况下实现了最强的降级集结果,平均 ROC-AUC 为 0.726。表示分析表明,傅立叶域线索在与 RGB 信息结合时最有用,而纯光谱输入始终表现不佳。定性归因图进一步表明,卷积检测器专注于局部伪影,而 DINOv3 则依赖于更广泛的面部结构。这些发现强化了对降级评估协议的需求,并强调自我监督的视觉表示是稳健的人脸伪造检测的一个有希望的方向。我们的源代码可在 https://github.com/lucasdocunha/FaceForgery-Benchmark/ 上公开获取。