面向忠实知识图谱推理的结构内化规则语言模型

知识图谱推理（KGR）旨在利用KG中可获得的结构证据发现潜在事实，这对KGR模型的结构语义理解能力构成挑战。近期研究表明，大语言模型（LLM）可以凭借灵活的上下文学习在KGR任务上取得显著进展。然而，KG结构上下文与LLM参数知识之间固有的表示不一致仍未得到充分解决。这一局限使LLM无法有效感知符合KG约束的推理证据，从而同时损害推理的有效性与忠实性。我们将这一问题称为LLM在KG上的推理证据感知漂移。为解决该问题，我们提出结构内化规则语言模型（SIRLM），其核心是结构规则生成，把结构知识的参数化学习与推理逻辑的忠实性评估耦合起来，使LLM紧密锚定于KG证据。具体而言，我们首先设计了结构内化规则生成器（SIRG），它包含一个由结构关系记忆增强的上下文学习模块，以协调结构知识与参数知识。此外，我们为SIRG配备了基于结构不变性学习的KG分词器，以及基于规则约束消息传递的神经符号推理器。这些组件分别赋予SIRG可学习的结构表示与忠实的规则执行反馈。我们的SIRLM可无缝集成到SFT、GRPO等标准LLM训练范式中。在36个数据集上与17个最先进KGR方法的大量对比实验证明了SIRLM的显著优势。