面向大型语言模型的不断发展的上下文参数化

上下文参数化使大型语言模型 (LLM) 能够将上下文内部化为可重用的模型参数，从而避免后续查询中的重复处理。然而，现有方法通常假设静态上下文，并且缺乏用于区分持续更新下的有效性状态的明确机制。为了研究这个现实场景，我们将顺序进化内存更新 (MUSE) 任务形式化，并构建了 MUSE 基准来评估更新合并和不受影响的信息保存。由此产生的挑战需要在调整记忆证据的贡献的同时保留全局状态。受此启发，我们提出了 PLUME，这是一种免训练的方法，它构造全局更新表示，激活记忆证据以形成局部参数视图，并在解码过程中自适应地集成它们的预测。 MUSE-bench 上的综合评估证明了 PLUME 在顺序进化设置中的有效性，平均 ROUGE-L Recall 相对提高了 29.9%，LLM-as-a-Judge 相对提高了 54.9%。我们的代码位于：https://github.com/xiaobingshi-LLM/PLUME。