LM 预训练的泛化动力学

人们通常认为 LM 在预训练期间会从模式匹配鹦鹉稳定地成熟为通用智能。我们构建了一个玩具评估套件，并表明这种心理模型是错误的：在整个预训练过程中，语言模型经常突然在鹦鹉式计算和智能式计算之间跳跃。我们称之为模式跳跃。在我们的套件中，语言模型突然陷入记忆或上下文模式而不是上下文学习，使用系统 1 而不是系统 2 思维，选择听起来正确的内容而不是真实的内容，在多跳角色 QA、脱离上下文推理和紧急错位方面失败——然后突然恢复并概括。标准优化动态无法解释模式跳跃：它是局部稳定的，无法通过检查点平均来修复。相反，我们将其视为容量分配问题：在容量有限的模型中，可泛化电路必须与训练早期学到的浅层电路竞争，每个预训练窗口中的数据可能决定哪个电路获胜。我们的套件提供了一个新的有效的泛化视角。我们演示了两个具体应用：（i）选择强泛化推理和对齐的中间预训练检查点，优于最终的预训练或训练中检查点，以及（ii）选择控制和稳定泛化动态的预训练数据。