论文

图语言:知识图谱如何与LLM对话

The Graph Language: How Knowledge Graphs Speak to Large Language Models

上下文与知识知识图谱

摘要

大语言模型(LLMs)在推理方面表现出色,但它们从知识图谱(KG)中受益。然而,将这些方法集成起来是困难的。我们引入了GRALAN,这是一种通过关系标记在LLM的语义空间中直接与KGs交互的方法。GRALAN-可训练的语言调解器生成任何冻结LLM的结构化标记,为知识密集型应用提供基础。我们通过将任务重新定义为围绕问题焦点子图的实体分类来展示其有效性。实验结果表明,GRALAN在复杂多跳推理任务中显著优于现有方法,建立了KG-LLM集成的新范式,同时保持结构忠实性,利用LLMs的推理能力。

图语言:知识图谱如何与LLM对话:论文配图
图 1:GraLan 的图形语言推理端到端架构。给定一个自然语言问题 (1),GraLan 提取与问题相关的子图 (2),并通过 RGCN/RGAT 层对其进行处理,以获得节点 (H)、关系 (R) 和全局上下文 (HG) 嵌入 (3)。问题和图形表示通过图形语言中介器 (4-6) 在共享语义空间中对齐,该中介器识别与问题最相关的节点,并使用特殊标记 [GRAPH]、[NODES]、[QUESTION] 和 [ANSWER](在训练期间)创建结构化输入序列。该序列由冻结的 LLM (7) 处理,分类器 (8) 使用其隐藏状态来预测最终答案,从而无需微调即可进行推理。