KARLA：面向语言模型的知识库增广检索

我们提出新方法——使LLM能在token生成期间自动从知识库拉取事实知识。这意味着 (1) LLM输出中的事实知识可不经重训更新；(2) LLM输出中的事实可追溯到知识库——实现透明与可解释；(3) 更小的模型可取得与更大模型相同的事实准确率。我们的核心思想是训练模型产生触发知识库查询的特殊token。实验表明我们的方法改进短文本与长文本生成中的事实锚定——并允许事实修订经知识库编辑而非参数更新生效。