KG-Reasoner：端到端多跳知识图推理的强化模型

大语言模型（LLM）在自然语言理解和生成方面表现出很强的能力，但在知识密集型推理方面却表现不佳。结构化知识图（KG）提供了一种有效的外部知识表示形式，并已广泛用于提高经典知识库问答（KBQA）任务的性能。然而，针对复杂查询对 KG 执行精确的多跳推理仍然极具挑战性。大多数现有方法将推理过程分解为通过固定管道执行的一系列独立步骤。虽然在某种程度上有效，但此类设计限制了推理灵活性并使整个决策过程支离破碎，通常导致早期步骤中的不连贯和关键中间信息的丢失。在本文中，我们介绍了 KG-Reasoner，这是一个端到端框架，它将多步骤推理集成到推理 LLM 的统一“思考”阶段中。通过强化学习（RL），LLM被训练来内化KG遍历过程，使其能够动态探索推理路径，并在必要时执行回溯。对八个多跳和知识密集型推理基准的实验表明，与最先进的方法相比，KG-Reasoner 实现了具有竞争力或优越的性能。代码可在存储库中找到：https://github.com/Wangshuaiia/KG-Reasoner。