论文

学习思想链提示预测知识图上的实体、关系甚至文字

Learning Chain Of Thoughts Prompts for Predicting Entities, Relations, and even Literals on Knowledge Graphs

上下文与知识上下文工程

摘要

知识图嵌入(KGE)模型在链接预测方面表现良好,但在处理看不见的实体、关系,尤其是文字方面表现不佳,限制了它们在动态、异构图中的使用。相比之下,预训练的 大语言模型 (LLM) 通过提示可以有效地进行泛化。我们将链接预测重新表述为提示学习问题,并引入 RALP,它学习基于字符串的思想链 (CoT) 提示作为三元组的评分函数。通过 MIPRO 算法使用贝叶斯优化,RALP 从少于 30 个训练示例中识别有效提示,无需梯度访问。在推理时,RALP 会预测缺失的实体、关系或整个三元组,并根据学习到的提示分配置信度分数。我们评估转导式、数值式和 OWL 实例检索基准。 RALP 将最先进的 KGE 模型跨数据集的 MRR 提高了 5% 以上,并通过高质量的推断三元组增强了泛化能力。在具有复杂类表达式的 OWL 推理任务上(例如,$\exists hasChild.Female$, $\geq 5 \; hasChild.Female$),它实现了超过 88% 的 Jaccard 相似度。这些结果强调基于提示的 LLM 推理是基于嵌入的方法的灵活替代方案。我们以开源方式发布了我们的实施、训练和评估流程:https://github.com/dice-group/RALP。