Muown 隐式执行角步长衰减

Muon 和 Muown 等矩阵感知优化器最近在 预训练 Transformer 上表现出了强大的经验性能。特别是，Muown 将每个权重矩阵分为行大小和非标准化方向变量，用 Adam 更新前者，用 Muon 更新后者。我们证明 Muown 的方向更新相当于归一化方向上的黎曼步，而非归一化参数化的幅度仅调节角度步长。这解释了 Muown 的步长稳定性，并建议明确角度步长。由此产生的方法 AngularMuown 直接在归一化方向上进行优化，并使用与径向幅度更新解耦的可调度角度乘数。 AngularMuown 比 Muown 有所改进，在撰写本文时，初步版本在修改后的 nanoGPT 速度竞赛的每个优化器类别中处于领先地位。对 Qwen2-0.5B 和 1.1B 参数专家混合模型的进一步实验证实了该算法的规模超出了小模型。该算法的实现可在 https://github.com/fhueb/angular-muown 获取