驯服曲率：稳定 Transformer 训练的架构热身

训练十亿参数的 Transformer 通常很脆弱，会出现瞬时损失峰值和发散，从而浪费计算。尽管最近开发的稳定边缘（EoS）理论提供了一个强大的工具来通过（预处理）曲率来理解和控制优化方法的稳定性，但由于曲率估计的复杂性，这些曲率控制方法在大规模 Transformer 训练中并不流行。为此，我们首先引入基于 Hessian 向量乘积功率迭代的热启动变体的最大（预处理）Hessian 特征值（即曲率）的快速在线估计器。我们从理论上证明，并通过经验验证，所提出的方法使得每迭代曲率跟踪在十亿参数规模上可行，同时更加准确。使用这个工具，我们发现训练的不稳定性与预处理曲率的激增一致，并且曲率随着深度而增长。受这些观察的启发，我们提出架构预热：逐步增加网络深度，以仔细控制预处理的 Hessian 矩阵并稳定训练。在大型 Transformer 上进行的实验证实，与现有最先进的稳定技术相比，我们的方法能够实现高效的曲率跟踪并减少不稳定性，而不会减慢收敛速度。