用于假新闻检测的检索增强多模态模型

近年来，多模式多域假新闻检测受到越来越多的关注。然而，这个方向面临两个重大挑战：（1）无法捕获跨实例叙事一致性：现有模型通常孤立地评估每条新闻，无法捕获跨实例叙事一致性，因此难以解决社交媒体驱动的基于集群的假新闻的传播； (2) 缺乏推理领域的特定知识：传统模型仅依赖于训练期间参数中编码的知识，很难推广到新的或数据稀缺的领域（例如，新兴事件或利基主题）。为了应对这些挑战，我们引入了用于假新闻检测的检索增强多模态模型（RAMM）。首先，RAMM 采用多模态 大语言模型 (MLLM) 作为骨干，从新闻样本中捕获跨模态语义信息。其次，RAMM 包含一个抽象叙事对齐模块。该组件自适应地从不同领域的不同实例中提取抽象叙事一致性，聚合相关知识，从而实现高级叙事信息的建模。最后，RAMM 引入了语义表示对齐模块，该模块使模型的决策范式与人类的决策范式保持一致——具体来说，它将模型的推理过程从对多模态特征的直接推理转变为基于实例的类比推理过程。三个公共数据集的广泛实验结果验证了我们提出的方法的有效性。我们的代码可通过以下链接获取：https://github.com/li-yiheng/RAMM