论文
基础模型是隐式 Deepfake 探测器
Foundation Models are Implicit Deepfake Detectors
摘要
预训练的自我监督表示已成为当前深度伪造检测方法的核心组成部分,但目前尚不清楚它们的哪些属性可以区分真假媒体。在这项工作中,我们发现了一个令人惊讶的一致现象:在多个预训练模型、数据集以及图像和视频领域,假样本系统地产生比真实样本更低的幅度表示。受这一发现的启发,我们将 Deepfake 检测制定为异常检测问题,并表明特征量级的简单统计可实现与更复杂的 Deepfake 检测方法的竞争性能。我们进一步研究了这种效应的根源,并证明特征量级的降低主要与虚假内容引入的语义转变有关,而底层生成指纹发挥的作用相对较小。最后,我们表明,随着底层基础模型规模的增长,这种判别信号会增强,这表明表示学习的进步自然会转化为更强大的零样本深度伪造检测器。