LLM知识图谱问答的解答路径及落地指导

图检索增强的生成管道选择要在提示中放入哪些三元组、写入它们的语法、写入它们的顺序以及告诉模型如何处理它们的句子。我们改变了六个 大语言模型 和两个知识图问答基准中的所有四个。四个选项中的两个改变了答案，另外两个则保持不变。第一个是答案路径（到达答案所需的三元组）是否在提示中。保持三元组的数量固定，并用来自不相关实体的材料替换不在链上的每个三元组，会使答案准确性增加 +0.003 F1，同时删除链的成本是图表的大部分价值。检索预算属于召回率，而我们可以测试的范围内的精度没有任何意义。这里没有 检索器：子图来自标准答案SPARQL，因此精度描述了我们构建的上下文，而不是系统设置。二是限定证据使用的指令。在提示中没有事实的情况下，让模型仅使用提供的事实进行回答会使 F1 从 0.299 下降到 0.035，系数为 8.63。该图描述了使用空上下文臂而不是工作管道进行的评估，并且将指令应用于其上下文臂但不应用于其无上下文基线的实验产生了图形上下文在深度上受到损害的虚假发现。我们在自己的结果中发现了一个并将其撤回。语法、三重顺序和子图大小不会产生我们可以在多跳深度测量的影响。使用格式敏感的评分器无法测量将基础指令与正确上下文进行定价的比较，因为指令决定了响应格式；我们将其报告为公开对比而不是数字。