知识胶囊：LLM 的结构化非参数存储单元

大语言模型 (LLM) 将知识编码为参数权重，这使得在不重新训练的情况下更新或扩展成本高昂。检索增强生成（RAG）通过将检索到的文本附加到输入来减轻这种限制，但纯粹通过上下文扩展来操作，其中外部知识作为注意力机制中的词元进行竞争。因此，它的影响是间接的并且通常不稳定，特别是在长上下文和多跳推理场景中。我们提出知识胶囊，结构化非参数存储单元，代表规范化的关系知识，并且可以使用冻结的基础模型直接从文档语料库构建。我们没有将知识作为文本注入，而是引入了外部键值注入（KVI）框架，该框架将胶囊编译为注意力兼容的键值表示，使外部知识能够直接参与模型的注意力计算。通过将知识集成从上下文级别的增强转移到内存级别的交互，所提出的框架在多个 QA 基准测试中始终优于 RAG 和 GraphRAG，在长上下文和多跳推理中提高了稳定性和准确性，同时不需要参数更新。