论文
面向事实核查的多来源多智能体证据检索
Multi-Sourced, Multi-Agent Evidence Retrieval for Fact-Checking
摘要
互联网上传播的错误信息对社会和个人都构成重大威胁,因此需要依赖检索准确可信证据的稳健、可扩展的事实核查。以往方法依赖从训练数据学到的语义与社会语境模式,限制了对新数据分布的泛化。近来,基于检索增强生成(RAG)的方法被提出,利用LLM的推理能力处理检索到的证据文档。然而,这些方法主要依靠文本相似度进行证据检索,难以检索到捕捉丰富文档内容中多跳语义关系的证据。这些局限导致在证据检索阶段忽视证据与待核查声明之间微妙的事实关联,从而造成不真实的真实性预测。为解决这些问题,我们提出WKGFC,它利用授权的开放知识图谱作为证据核心资源。我们设计LLM驱动的检索来评估声明并检索最相关的知识子图,构成用于事实核查的结构化证据。为增强知识图谱证据,我们检索网络内容加以补全。上述过程实现为自动化的马尔可夫决策过程(MDP):一个推理型LLM智能体根据当前证据与声明决定采取何种动作。为使MDP适配事实核查,我们使用提示优化对智能体LLM进行微调。
