论文

图论辩论:大语言模型 在不确定知识图谱上的可靠自适应推理

Debate-on-Graph: Reliable and Adaptive Reasoning of Large Language Model on Uncertain Knowledge Graph

上下文与知识知识图谱

摘要

大语言模型(LLM)在自然语言处理方面表现出了卓越的能力。然而,LLM在处理问答(QA)任务时经常出现幻觉和缺乏相关知识。为了缓解这些问题,利用知识图 (KG) 来增强 LLM 推理。然而,知识图谱通常包含噪声和错误,而现有的知识图谱增强型 LLM 方法通常无法识别和过滤此类噪声和错误内容,这反而会放大幻觉并对可靠推理提出挑战。不确定知识图(UKG)将每个三元组与置信度分数相关联以量化不确定性,为解决这一挑战提供了一个有希望的方向。与之前的工作相比,我们研究了如何利用 UKG 来支持 LLM 进行 QA。我们提出 Debate-on-Graph (DoG),这是一个新框架,使 LLM 和 UKG 能够自适应地协作以进行可靠的推理。具体来说,我们首先设计了一种为 UKG 量身定制的启发式搜索算法,以提取可靠且与问题相关的子图,从而减少检索知识中的噪音和错误。然后,我们引入了多代理辩论机制,该机制通过自适应对抗性辩论产生可靠的答案,旨在充分利用 UKG 中的知识,同时保留检索到的证据的可靠性。对四个基准 QA 数据集的大量实验表明,DoG 比现有的 LLM 推理方法和基于 KG 的基线实现了最先进的性能,同时实现了可靠和自适应的推理。我们的代码可在 https://github.com/seucoin/Debate-on-Graph 获取。