河谷损失景观中的动量加速机制

预训练大型语言模型的经验成功激发了对潜在损失情况和优化动态的更深入研究。最近的实证和理论研究表明，训练损失景观通常呈现出“河谷”结构，其特征是低损失流形（河流），两侧是具有较高损失的尖锐正交方向（山脉）。从长远来看，优化进度主要取决于沿河进度。在这样的景观中，尽管由于垂直振荡而导致明显的损失很大，但具有大学习率的梯度下降可以沿着河流更快地移动，而随后学习率的急剧衰减会抑制这些振荡，从而揭示真正的优化进展。这解释了预热稳定衰减（WSD）学习率调度程序最近的成功，与余弦调度不同，它保持稳定的高学习率并在产生中间检查点之前衰减。在此基础上，在这项工作中，我们进一步研究了动量在这种损失情况下的作用。我们建立了理论分析，描述动量如何通过稳定大学习率来加速优化，而在不显着偏离河流的情况下，普通 GD 无法容忍这种大学习率。启用的大学习率反过来会带来更快的沿河速度，并从长远来看取得更快的基本进展。另一个有趣的理论观察是，对于河流非常平坦且旋转缓慢的河谷景观，动量本身并不直接对跟踪河流的速度产生加速作用，而主要的加速来自于允许的较大学习率。