MuonEq：正交化前的轻量级平衡平衡

Muon 等正交更新优化器改进了矩阵值参数的训练，但现有扩展通常要么在正交化之后重新缩放更新，要么在正交化之前使用更重的基于白化的预处理器。我们介绍{\method}，一个轻量级的 Muon 预正交化平衡方案，具有三种形式：双边行/列归一化（RC）、行归一化（R）和列归一化（C）。通过在有限步牛顿-舒尔茨正交化之前重新平衡动量矩阵，{\method} 改进了正交化所看到的几何形状。我们表明，有限步正交化受输入谱控制，尤其是稳定的秩和条件数，并且行/列归一化充当白化的零阶替代。对于隐藏矩阵权重，R 是默认变量。理论上，{\method} (R) 保留了标准的 $\widetilde{\mathcal O}(T^{-1/4})$ Muon 型非凸平稳性保证，具有解耦权重衰减和无地平线递减学习率计划，并将其扩展到有限步 NS5 直至显式不精确常数。在 C4 上的 LLaMA2 预训练中，{\method} (R) 在 130M、350M 和 1B 模型上始终优于 Muon，具有更快的收敛速度和更低的验证困惑度。该代码可在 \href{https://github.com/MaeChd/muon-eq}{MuonEq 代码库} 获取。