文档应该放在哪里：上下文、表示还是参数？

为了回答预训练数据之外的问题，大型语言模型 (LLM) 需要访问新信息，这些信息可以在上下文窗口中作为文档呈现、编码到模型的参数中或作为潜在表示注入。然而，每种方法都具有不同的效率、成本和性能权衡，没有单一的赢家。我们在五个知识密集型基准上对基于表示（基于 KV 缓存）和参数化（基于微调）的自适应方法进行了受控比较。我们表明，在预言机设置中，盒式磁带 (KV) 是几乎所有存储预算中最准确的注入方法，比参数方法高出 10 个百分点。压缩 (KV) 仅在低压缩率下与墨盒匹配，在压缩率高于 $50\times$ 时落后于参数方法 10 个百分点。在更现实的多文档检索场景中，Cartridges 是唯一匹配上下文学习（ICL）的方法，领先参数化方法 29 分，领先 Compaction 15 分。尽管如此，除了全面微调和大型 MLP 适配器之外，Cartridges 也是唯一遭受灾难性遗忘的方法，即控制基准性能下降 6%，其中编码性能下降 13%。