论文
Forensic Reserve:激发预训练视觉编码器的鉴伪知识
Forensic Reserve: Eliciting Latent Knowledge for Image Forgery Detection
摘要
随着生成的图像变得越来越真实,可靠的伪造检测对于维持对视觉信息的信任至关重要。然而,现有方法主要依赖于特定任务的监督来适应视觉基础模型表示,而没有充分利用内部取证知识来指导检测。为了解决这个限制,我们提出了储备引导启发(RGE),这是一个框架,它将预训练模型中稀疏的、对起源敏感的内部组件视为取证储备,并将其定位转化为轻量级适应的结构约束。具体来说,我们首先使用 Forensic Lens(F-lens)将跨层和 token 组的激活分解为独立的组件,并通过真实图像和生成图像之间的响应差异对它们进行全局筛选,识别保留位点和方向。接下来,我们将选定的方向映射回隐藏状态空间以构造固定保留子空间,并仅在识别的站点插入法医保留适配器(FRA)。最后,使用 骨干模型参数、先前安装的参考分类器和固定的子空间基,我们仅训练 FRA 系数图以生成受限于相应子空间的输入相关残差更新,从而加强现有的取证响应。仅使用 500 个标记的训练图像和低于 骨干模型 0.2% 的 可训练参数预算,RGE 在三个检测基准上实现了具有竞争力的性能,而无需目标基准调整。此外,RGE 持续改进了跨自监督和视觉语言预训练的八个编码器的相应冻结检测器,从而引发了预训练视觉模型中广泛共享的潜在取证能力。
