语言模型中的共同进化结构化知识和推理

检索增强方法通过将语言模型建立在外部知识中来提高事实准确性，但对非结构化文本的检索通常会引入不相关的上下文，并对检索到的信息提供有限的控制。结构化知识库提供了一种更可控的替代方案，但构建成本高昂，而且通常难以推理。为了解决这些限制，我们提出了 KBevo：一个共同进化的框架，它共同学习构建结构化知识库并对其进行推理以进行知识密集型问题回答。通过使用 QA 结果奖励对两个组件进行端到端优化，我们的方法使推理成功能够直接提高构建的知识库的质量。这导致了更大、连接更好的知识结构以及更高的答案可达性，同时与标准检索基线相比还提高了成分事实推理和可控性。