Musec：用于稳定 Muon 型训练的 MomentUm Spectral Clipping

Muon 已成为 大语言模型 训练的高效优化器，与广泛采用的 Adam 和 AdamW 优化器相比，通常能实现卓越的收敛性和性能。然而，由于其谱平坦化，Muon 很容易出现训练不稳定的情况，表现为损失尖峰和模型权重的无限增长。现有方法主要依赖于权重或注意力 logits 裁剪，这需要特定于架构的修改，并且不能直接解决所有模型组件的不稳定性。我们提出 MomentUm SpEctral Clipping (Musec)，它用谱裁剪代替 Muon 的谱平坦化：Musec 不是将动量矩阵的所有奇异值设置为大约 1，而是裁剪超过阈值的奇异值，同时保留动量的底层谱结构。我们的策略提供了一种优化器级别、与架构无关的机制来稳定 Muon 训练。理论上，我们在非凸非光滑随机优化中为 Musec 建立了收敛保证。实际上，我们开发了 Soft Musec，这是一种有效的实现，它使用由耦合牛顿-舒尔茨迭代近似的平滑频谱饱和函数。根据经验，Soft Musec 在各种学习率和模型大小范围内持续提高了现有 Muon 变体的训练稳定性，在现有 Muon 变体发散的环境中保持稳定，同时在精心调整的配置下匹配其性能。