自我巩固的语言模型：来自上下文的持续知识整合

大语言模型 (LLM) 越来越多地以段落流、对话流和长上下文工作流的形式接收信息。虽然较长的上下文窗口会暴露更多证据，但它们并不能确保保留和重用有用的信息。我们研究持续的上下文整合：将当前上下文写入模型权重，同时限制对先前整合信息的干扰。我们提出 \textbf{S}elf-\textbf{Co}nsolidating \textbf{L}语言模型（SCoL），这是一个 后训练 框架，在给定当前上下文的情况下，LLM 学习生成文本更新指令，指定应更新其自己的 Transformer 层中的哪一个。由于提交的更新会改变稍后生成未来选择的模型，因此我们在不断发展的模型状态上使用元强化学习来训练 SCoL。我们通过 SQuAD 知识整合的监督 QA 奖励和 LongBench v2 长上下文整合的基于内在可能性的奖励来实例化 SCoL。在这两种设置中，SCoL 都通过提示、总结、批量测试时训练和顺序微调基线来提高获取和保留的效果。对学习选择模式的分析表明，SCoL 鼓励 LLM 生成与高 Fisher 信息层对齐的稀疏更新位置，这表明该模型学习将可塑性路由到损失敏感区域，同时限制干扰。此外，SCoL 在评估时从较短的元训练流转移到较长的 LongBench v2 流，这表明我们的框架支持可扩展的流整合。