论文

用于泛化 Deepfake 检测的环境不变子空间学习

Environment-Invariant Subspace Learning for Generalizable Deepfake Detection

模型训练监督微调与指令调优

摘要

跨分布泛化仍然是深度伪造检测的关键瓶颈。虽然最近的努力利用了大规模视觉基础模型(VFM)的语义先验,但仍然存在一个值得注意但尚未充分探索的挑战:这些语义先验对照明和风格等因素的环境干扰的敏感性。至关重要的是,这种干扰在伪造线索和环境模式之间建立了虚假相关性,严重限制了泛化。为了应对这一基本挑战,我们提出了一种创新的环境不变子空间学习(EISL)框架。 EISL 的核心贡献在于,它旨在通过可学习的低秩投影将特征分解为正交伪造相关的不变因素和环境相关的残余因素。为了促进强大的特征解缠,我们还设计了一个环境干预模块,该模块生成多样化且具有挑战性的干预对,模拟分布外的环境变化,以指导模型发现真正不变的伪造表示。跨数据集、跨生成器、全脸合成和损坏设置的实验显示了与强检测器相比的一致增益和竞争或领先性能,证明了对看不见的伪造类型和环境变化的鲁棒性得到了提高。这项工作为理解和解决 VFM 在深度伪造检测中的泛化障碍提供了新的视角和有价值的探索。