Muon 遇上 Mamba：状态空间模型的谱优化

Muon 是一个最新的优化器，它通过 Newton-Schulz 迭代对每个权重矩阵的更新进行正交化，该迭代在谱范数下执行最速下降。几乎所有它的证据都来自 Transformer 模型，并且它在状态空间模型上的行为基本上没有报道。我们在 Mamba-2 130M 上在受控协议下将 Muon 与 AdamW 进行比较，该协议仅改变使用 Muon 训练的重量组。好处是本地化的。仅输出投影上的 Muon 优于输入投影或两者上的 Muon。优点主要是词元利用效率。它保留两个语料库和两个 词元预算，并在训练继续远远超过计算最佳点时持续存在。调节并不能解释增益。 Muon 会降低它训练的任何投影的条件数，但条件更好的输入投影并没有帮助。