语言模型可以在其权重中持续学习事实吗？

持续学习有望形成一种在训练后不断获取知识的语言模型，并将每个新事实写入其权重中。权重写入是否可以支持累积尚未确定。我们跟踪写入 Qwen3 模型的发明事实，从创建到二十到一百个后来写入的序列，使用五种类型的保留问题，并以原始模型在其提示中给出的事实作为参考。在这些实验中，训练数据的广度决定了所创建的知识的类型。纯粹的陈述训练产生背诵，而不同的重述将背诵与使用的差距从 27.4 分减少到 5.4 分，而没有向模型显示结论。这种差异会影响到后来的写入：在 20 次连续写入之后，裸语句事实保留了 1% 的准确性，而根据广泛研究数据写入的事实保留了 46%。我们还发现事实可以在行为上被遗忘而不会被删除。被遗忘的事实保留了其写入所添加的大部分对数概率，并且在裸语句训练下，70% 的错误答案包含了最近写入的事实。同样的写作几乎不会降低模型在上下文中对事实的使用，并且提示中提供的被遗忘的研究事实在其问题上恢复到 77-80%。这些结果描述了存储但以问题为关键的知识：后来的写入重定向了到达它的问题。对不相关能力的损坏会跟踪 KL 与原始模型的分歧，无论早期事实如何存储，后来的写入都会造成干扰。广泛的数据可以创建可用的知识，冻结的参考可以保留能力，但我们测试的任何干预措施（包括基于每次写入的准确本地测量构建的干预措施）都无法保持早期事实的可达性。当事实必须被组合或在以后的写入中保留下来时，可靠的渠道是上下文而不是权重。