先去噪，后正交：通过光谱滤波了解 μ 子的动量

Muon 最近在 大语言模型 训练中表现出了强大的经验表现，但动量在 Muon 中的理论作用仍不清楚。现有的 Mu 分析要么消除了孤立研究光谱更新的动力，要么保留了动力而不解释为什么它提高了经验性能。我们的工作通过展示 Muon 作为光谱滤波器的动量来弥补这一差距。在结构化信号加扰动梯度模型下，我们证明动量在保留主导信号的同时抑制扰动，从而扩大了它们之间的光谱间隙。这种扩大的间隙稳定了传递到 Muon 正交化步骤的矩阵的奇异子空间，使所得的更新更加可靠。我们进一步表明，与颠倒该顺序或简单地去除动量相比，在正交化之前应用动量可证明与梯度的信号分量实现更强的对齐。跨不同任务的实验（包括 LLM 预训练）支持了我们的理论分析。更广泛地说，我们的理论为理解其他基于矩阵的优化器中动量的好处提供了一个起点。