论文
PATE-Forensics:使用通用 MLLM 进行可解释的 Deepfake 取证的感知工具
PATE-Forensics: Perception-as-Tool for Explainable Deepfake Forensics with General-Purpose MLLMs
摘要
现有的可解释的深度伪造取证方法通常依赖于任务适应的 MLLM 来联合解决检测、定位和解释问题。受代理式工具使用的启发,我们引入了感知即工具范例并将其实例化为 PATE-Forensics,它在架构上将检测和定位与解释生成解耦,同时在取证感知工具中尽可能紧密地耦合检测和定位。基于 DINOv3 的工具将多粒度检测模块结合在一起,该模块将全局、补丁级和片段级证据与线索引导的定位模块相结合,通过将补丁级和片段级证据空间化为指导密集掩模预测的伪造得分图。该工具生成的原始图像和取证感知输出形成了通用 MLLM 的结构化取证上下文,该上下文由提示约束引导以生成解释,而无需特定于任务的 微调。在 DDL-X Track 3 上,PATE-Forensics 取得了 0.89 的官方最佳成绩,比排名第二的团队高出 0.19 分。我们的代码可在 https://github.com/yqli00000/PATE-Forensics 获取。