KoRe：大语言模型 的紧凑知识表示

现代 大语言模型 (LLM) 在面向用户的任务（例如回答问题）以及推理能力的持续改进中表现出了令人印象深刻的性能。尽管如此，这些模型编码知识的方式似乎存在固有的缺陷：根据设计，LLM 在其参数内编码世界知识。这种表示知识的方式本质上是不透明的，难以调试和更新，并且容易产生幻觉。另一方面，知识图可以提供人类可读且易于编辑的世界知识表示，并且它们在知识密集型任务中的应用一直被证明有利于下游性能。尽管如此，当前的集成技术需要大量的再培训或微调。为了解决这个问题，我们引入了 KoRe，一种将 1 跳子图编码为紧凑的离散知识词元并将其注入 LLM 主干的方法。我们在三个既定基准上测试了所提出的方法，并报告了具有竞争力的性能以及词元使用量的显着减少（高达 10 倍）。我们的结果表明，紧凑的离散 KG 表示可以高效且有效地用于接地现代 LLM。