语言模型学习什么以及何时学习？内隐课程假说

大语言模型 (LLM) 可以执行非常复杂的任务，但这些功能在预训练期间如何出现的细粒度细节仍然知之甚少。验证损失的缩放定律告诉我们模型通过额外的计算可以改进多少，但不能告诉我们它以何种顺序获得哪些技能。为了解决这个问题，我们提出了隐式课程假设：预训练遵循跨模型和数据混合的组合且可预测的课程。我们通过设计一套简单的、可组合的任务来测试这一点，这些任务涵盖检索、形态转换、共指、逻辑推理和数学。使用这些任务，我们跟踪四个模型系列的出现点，其参数大小涵盖 410M-13B。我们发现模型达到固定准确度阈值时的出现顺序惊人地一致（45 个模型对中 $ρ= .81$），并且复合任务通常在其组成任务之后出现。此外，我们发现这种结构被编码在模型表示中：具有相似函数向量表示的任务也倾向于在训练中遵循相似的轨迹。通过使用从我们的任务集导出的表示空间，我们可以在整个预训练过程中有效地预测简单的组合任务的训练轨迹（跨模型$R^2 = .68$-$.84$），而无需事先对其进行评估。总之，这些结果表明预训练比损失曲线所揭示的更加结构化：技能以跨模型一致的组合顺序出现，并且可以从其内部读取。