论文

弥合微观-宏观差距:用于图像操作定位的频率感知语义对齐

Bridging the Micro--Macro Gap: Frequency-Aware Semantic Alignment for Image Manipulation Localization

应用与实践视觉感知与空间理解

摘要

随着生成图像编辑的进步,图像处理定位 (IML) 必须处理具有明显法医伪影的传统操作和看起来局部真实的扩散生成编辑。现有方法通常依赖于底层取证线索或仅依赖高级语义,从而导致基本的微观-宏观差距。为了弥补这一差距,我们提出了 FASA,这是一个用于定位传统和扩散生成的操作的统一框架。具体来说,我们通过自适应双频带 DCT 模块提取操作敏感的频率线索,并通过冻结 CLIP 表示的补丁级对比对齐来学习操作感知语义先验。然后,我们通过用于多尺度特征交互的语义频率侧适配器将这些先验注入到分层频率路径中,并采用原型引导的频率选通掩模解码器将语义一致性与边界感知定位相结合以进行篡改区域预测。在 OpenSDI 和多个传统操作基准上进行的大量实验证明了最先进的定位性能、强大的跨生成器和跨数据集泛化能力以及在常见图像退化下的稳健性能。