论文

RASR:用于虚假新闻视频检测的检索增强语义推理

RASR: Retrieval-Augmented Semantic Reasoning for Fake News Video Detection

上下文与知识检索增强

摘要

多模态假新闻视频检测是维护在线信息可信度的重要研究方向。现有研究主要通过构建多模态特征融合表示或利用预训练的语言模型来分析视频文本一致性来验证内容真实性。然而,这些方法仍然面临以下局限性:(1)缺乏跨实例的全局语义相关性,难以有效利用历史关联证据来验证当前视频; (2)跨领域语义差异阻碍了通用知识的迁移,缺乏特定领域专家知识的指导。为此,我们提出了一种新颖的检索增强语义推理(RASR)框架。首先,跨实例语义解析器和 检索器 (CSPR) 将视频解构为高级语义原语,并从动态内存库中检索相关关联证据。随后,领域引导多模态推理 (DGMP) 模块结合领域先验,驱动专家多模态 大语言模型 生成领域感知的深入分析报告。最后,多视图特征解耦与融合(MVDFF)模块通过自适应门控机制集成多维特征,以实现鲁棒的真实性判定。在 FakeSV 和 FakeTT 数据集上进行的大量实验表明,RASR 显着优于最先进的基线,实现了卓越的跨域泛化,并将整体检测精度提高了高达 0.93%。