论文
Code-on-Graph:知识图谱上经大语言模型的迭代程序化推理
Code-on-Graph: Iterative Programmatic Reasoning via Large Language Models on Knowledge Graphs
摘要
知识图(KG)被广泛用于缓解大型语言模型(LLM)的局限性,例如过时的知识和幻觉。现有的 LLM-KG 集成框架通常依赖于预定义的运算符从 KG 中检索事实知识并将其注入到答案生成的提示中。这种范式面临两个关键瓶颈:1)不灵活性:预定义的运算符范围有限,因此缺乏足够的组合表达能力来充分捕获知识图谱问题所需的复杂语义。 2)不可扩展性:将事实知识直接注入提示限制了处理大规模事实知识的可扩展性。为了解决这两个瓶颈,我们提出了 Code-on-Graph (CoG),这是一种用于 LLM-KG 集成的编程推理框架。具体来说,给定每个推理步骤检索到的事实知识,CoG 首先识别相应的 KG 模式,并将这些模式表示为 Python 类,这些类充当检索到的事实的抽象接口。然后,它生成基于这些类的可执行代码,并在执行期间将检索到的事实实例化为相应类的对象。这种设计可以实现灵活的基于代码的推理,同时避免将大规模事实知识直接注入提示中。 WebQSP、CWQ 和 GrailQA 上的实验表明,CoG 的性能比之前最先进的模型高出 10.5%。
