论文
超越语义先验:减轻通用视觉取证的优化崩溃
Beyond Semantic Priors: Mitigating Optimization Collapse for Generalizable Visual Forensics
摘要
虽然像 CLIP 这样的视觉语言模型 (VLM) 已经成为可推广的深度伪造检测的主导范例,但代表性脱节仍然存在:它们以语义为中心的 预训练 不适合捕获超现实合成固有的非语义伪影。在这项工作中,我们确定了一种称为优化崩溃的故障模式,一旦扰动半径超过狭窄的阈值,使用锐度感知最小化(SAM)训练的检测器就会退化为对非语义伪造的随机猜测。为了从理论上形式化这种崩溃,我们提出了临界优化半径(COR)来量化优化景观的几何稳定性,并利用梯度信噪比(GSNR)来衡量泛化潜力。我们建立了一个定理,证明 COR 随着 GSNR 单调增加,从而揭示了 SAM 优化的几何不稳定性源于内在泛化潜力的退化。该结果将 GSNR 的逐层衰减确定为检测非语义伪造时优化崩溃的根本原因。尽管简单地减小扰动半径可以在 SAM 下产生稳定的收敛,但它只是治疗症状,而没有减轻内在的泛化退化,需要增强梯度保真度。基于这一见解,我们提出了对比区域注入 Transformer (CoRIT),它将计算效率高的对比梯度代理 (CGP) 与三种 无需训练 策略集成在一起:用于抑制 CGP 方差的区域细化掩模、用于保留 CGP 幅度的区域信号注入以及用于获得更通用表示的分层表示集成。大量实验表明,CoRIT 可以减轻优化崩溃,并在跨领域和通用伪造基准上实现最先进的泛化。