论文

用于检测和证实多模式媒体操纵的循证取证推理

Evidence-Grounded Forensic Reasoning for Detecting and Grounding Multi-Modal Media Manipulation

模型训练强化学习

摘要

假新闻越来越依赖于跨模态图像文本伪造,这使得透明且可验证的推理链成为检测和基础多模态媒体操纵(DGM4)的迫切需要。现有方法产生黑盒检测结果,没有任何决策依据,限制了其在法医实践中的可靠性。多模态 大语言模型 (MLLM) 提供了一条通向可解释性的自然途径,但将它们应用于 DGM4 会带来两个困难。首先,模型往往会生成与预测证据位置无关的解释,从而产生未经验证的归因。其次,强制证据-结论一致性需要主动优化,但统一的训练信号无法区分定位标记和分类标记,使得多头联合训练不可靠。我们提出了一种基于证据取证推理(EFR)框架的多模式操纵检测器。 EFR 引入了锚定和验证推理链,该推理链在跨模态比较之前强制执行模态隔离感知,并将结论坐标作为下游证据必须在空间上对应的明确锚点。然后,可验证的奖励系统在训练期间强制执行证据结论的一致性,而模态解耦优势(MDA)路由机制则可以减少预测任务之间的信用错误分配。实验表明,EFR 实现了最先进的性能,同时生成将解释与证据明确绑定的结构化取证推理记录。