论文

GLM-RAG:用于基于图的检索增强生成的图语言模型

GLM-RAG: Graph Language Models for Graph-Based Retrieval-Augmented Generation

上下文与知识知识图谱

摘要

在知识图谱上的检索增强生成(RAG)要求检索器能够有效捕捉图结构与语义信息。近期方法探索了基于图神经网络(GNN)的检索器,以在多跳推理任务中建模图拓扑。与此同时,图语言模型(GLM)作为一种整合图推理与语言模型语义能力的新兴范式开始受到关注。本工作提出基于 GLM 的检索器,考察 GLM、GNN 与传统向量检索三类检索器在单跳与多跳 RAG 设定下的相对优势,并特别关注向未见领域的可迁移性。我们的发现表明,微调后的 GLM 检索器域外泛化更好,在两个多跳基准上达到 SOTA。在域内多跳问答数据集上,它们与既有工作相当,并随参数量与子图覆盖的增加展现出良好的扩展性。基于 GNN 的检索器以高效的训练设置取得更高的图覆盖率,而向量检索基线则在单跳数据集上表现突出。

GLM-RAG:用于基于图的检索增强生成的图语言模型:论文配图
图 1:GLM-RAG 和 GFM-RAG 知识图检索跟踪查询“维护边境部队并声称 Bernd Baumgart 为公民的国家的三个字母缩写是什么?” “东德”是黄金答案。从 MuSiQue 测试集中选择的示例。