语言模型预训练中局部景观几何如何演变？

预训练语言模型的规模和费用使得高效的超参数调整变得至关重要，但仍然缺乏原则性的指导。在这项工作中，我们从局部景观几何角度分析语言模型预训练动态。我们的研究揭示了两个不同的阶段。在第一阶段，局部景观的清晰度最初很高，导致大学习率（LR）下的不稳定和损失平台。在训练初期，地形会从尖锐区域转变为平坦区域。这种动态解释了 LR 预热的必要性，并进一步表明较大的峰值 LR 需要相应更长的预热时间。在第二阶段，局部景观由梯度噪声尺度控制。我们的理论确定了深度平坦度权衡：较小批次的高噪声会扩大损失盆地，而较大批次的噪声降低会加深损失盆地。该理论催生了动态批量大小 (BS) 调度程序，该调度程序从较小的 BS 开始，并在训练后期增加它。我们共同提供了损失景观演变的统一视图，这转化为大规模预训练的可行调整策略。