Mu 子的光谱动力学和噪声几何

Muon 用其极因子 $UV^\top$ 替换矩阵梯度 $G=UΣV^\top$。这保持了梯度选择的奇异方向，但使更新谱平坦。我们研究此操作产生的优化偏差。在显式对齐假设下，我们证明极坐标更新是使用梯度奇异方向且不适应当前权重谱的有界更新中的一步熵最大化选择。在欠定回归模型中，我们推导了连续时间 Muon 的精确奇异值动力学，并确定了一个依赖于测量的条件，在该条件下归一化谱向相等的非零奇异值移动。这种几何结构还排除了一种常见的低秩解释：在固定的弗罗贝尼乌斯范数下，μ子的显着态具有平坦的光谱，而核范数最小化有利于光谱集中。受控矩阵传感实验将效果与简单的梯度重新缩放分开，表明范数匹配梯度下降不会再现 Muon，并恢复了广泛消融中预测的平坦趋势。在小型 NanoGPT 预训练中，Muon 保持稳定的排名，具有广泛的学习率平台，并且相对于 AdamW 改善了验证损失；在匹配的小 ViT 对照中，排名相反。由此产生的结果是依赖于制度的：μ介子并不普遍优越，但当许多光谱方向需要保持活跃时，其平坦光谱偏差可以提供帮助。