嵌入空间中的多跳推理与检索:利用大语言模型与知识

随着大语言模型（LLM）规模持续增长，其处理复杂任务的能力显著提升。然而，幻觉和缺乏最新知识等问题在很大程度上仍未解决。知识图谱（KG）作为真实世界的符号化表示，为增强推理提供了可靠来源。因此，把KG检索整合进LLM可以通过提供可靠知识来强化其推理。然而，由于对底层知识图谱理解有限，LLM可能在具有多重解释的查询上遇到困难。此外，知识图谱内部的不完整性与噪声可能导致检索失败。为应对这些挑战，我们提出基于嵌入的检索推理框架EMBRAG。在该方法中，模型首先基于输入查询生成多条以知识图谱为根据的逻辑规则。随后这些规则被应用于嵌入空间中的推理，在知识图谱引导下确保更稳健、更准确的推理。重排序模型进一步解释这些规则并精炼结果。在两个基准KGQA数据集上的大量实验表明，我们的方法在KG推理任务上取得新的最先进性能。