揭秘 LLM 中的流形约束 预训练

矩阵优化器（例如 Muon）最近的成功表明，特定的动量归一化（例如正交化和行归一化）有利于 LLM 训练的稳定性和加速。因此，最近的几项研究表明权重也应该标准化，从而导致黎曼优化问题。虽然这种受限训练框架表现出卓越的性能，但明确限制权重的效果及其与现有稳定机制的相互作用仍然知之甚少。为了弥补这一差距，我们通过激活尺度、旋转动力学和更新权重比来研究多种约束训练动力学。我们提出了一种称为 MACRO 的黎曼谱最速下降优化器，以及半径选择原则作为我们的测试平台。我们的分析和数值实验表明，RMSNorm 和流形约束起着重叠的作用，并且当应用流形约束时，可以完全消除权重衰减。通过控制更新与权重的比率，约束训练显着减轻了更新取消的情况，经验证明 MACRO 对于低精度计算具有鲁棒性，并且与标准 LLM 预训练 的现有算法具有竞争力。