通过内在重要性感知进行自适应取证特征细化

随着生成模型和多模态内容编辑技术的快速发展，合成图像检测（SID）面临的关键挑战在于对未知生成源的跨分布泛化。近年来，视觉基础模型（VFM）通过大规模图文对齐预训练获得丰富的视觉先验，成为提高SID泛化能力的一条有前途的技术路线。然而，现有的基于 VFM 的方法在其适应策略中仍然相对粗粒度。他们通常要么直接使用 VFM 的最终层表示，要么简单地融合多层特征，缺乏对可转移伪造线索的最佳表示层次结构的显式建模。同时，虽然直接使用微调 VFM可以增强任务适应能力，但它也可能会破坏支持开放集泛化的跨模态预训练结构。为了解决这个任务特定的紧张，我们将 SID 的 VFM 适应重新表述为联合优化问题：既需要识别更适合携带伪造判别信息的关键表示层，又需要限制任务知识注入到预训练结构中引起的干扰。基于此，我们提出了I2P，一个以内在重要性感知为中心的SID框架。 I2P 首先自适应地识别对 SID 最具辨别力的关键层表示，然后将任务驱动的参数更新限制在低敏感度参数子空间内，从而提高任务特异性，同时尽可能保留预训练表示的可转移结构。