重新思考利用语义细粒度对齐和专家混合的人脸伪造检测的跨域评估

如今，随着生成模型的快速发展，视觉数据伪造检测在社会和经济安全中发挥着越来越重要的作用。由于跨数据集的泛化能力较差，现有的人脸伪造检测器仍然无法达到令人满意的性能。导致这一现象的关键因素是缺乏合适的指标：常用的跨数据集AUC指标未能揭示检测分数可能在不同数据域之间发生显着变化的重要问题。为了明确评估跨域分数的可比性，我们提出了 \textbf{Cross-AUC}，这是一种评估指标，可以通过将一个数据集的真实样本与另一个数据集的假样本进行对比来计算跨数据集对的 AUC（反之亦然）。有趣的是，在 Cross-AUC 指标下评估代表性检测器会发现性能大幅下降，从而暴露了一个被忽视的鲁棒性问题。此外，我们还提出了新颖的框架 \textbf{S}emantic \textbf{F}ine-grained \textbf{A}lignment 和 \textbf{M}ixture-of-Experts (\textbf{SFAM})，由一个补丁级图像文本对齐模块组成，该模块增强了 CLIP 对操纵伪影的敏感性，以及面部区域混合专家模块，该模块将来自不同面部区域的特征路由到专门的专家以进行预测。区域感知伪造分析。对公共数据集进行的广泛定性和定量实验证明，与具有各种合适指标的最先进方法相比，所提出的方法具有优越的性能。