备忘录：记忆作为模型

大语言模型 (LLM) 在广泛的任务中实现了强大的性能，但在预训练后保持冻结状态，直到后续更新。许多现实世界的应用程序需要及时的、特定领域的信息，这就激发了对有效机制来整合新知识的需求。在本文中，我们介绍了 MeMo（Memory as a Model），这是一个模块化框架，它将新知识编码到专用的记忆模型中，同时保持 LLM 参数不变。与现有方法相比，MeMo 具有以下几个优点：（a）它捕获复杂的跨文档关系，（b）它对检索噪声具有鲁棒性，（c）它避免 LLM 中的灾难性遗忘，（d）它不需要访问 LLM 的权重或输出 logits，从而实现与开放和专有闭源的即插即用集成LLM，并且（e）其检索成本与推理时的语料库大小无关。我们在 BrowseComp-Plus、NarrativeQA 和 MuSiQue 三个基准测试上的实验结果表明，与跨不同设置的现有方法相比，MeMo 实现了强大的性能。