SARIF：利用SAM提升图像篡改定位鲁棒性

由于不同的操纵技术和分布变化，图像伪造定位仍然具有挑战性。现有的伪造定位模型在基准上实现了高精度，但常常在跨域泛化和鲁棒性方面遇到困难。在本文中，我们提出了SARIF（Segment Anything for Robust Image Forensics），这是一个利用Segment Anything Model（SAM）的框架，该框架具有可接受提示的架构和强大的泛化能力。 SARIF 引入了反馈引导掩模解码器和双编码器设计，可提取伪造特定信息以捕获取证痕迹，同时利用 SAM 架构。为了定位被操纵的区域，我们设计了一种分块提示机制，该机制从适应的编码器与其冻结对应物之间的残差特征中导出伪造特定的线索。这些功能与之前的掩模提示融合，以驱动基于反馈的掩模细化过程，从而无需手动输入即可实现自动伪造分割。对标准伪造定位基准的大量实验表明，SARIF 实现了强大的平均跨数据集性能和对常见图像损坏的鲁棒性。