DGA-Muon：Muon 的解耦几何对齐自适应缩放

虽然 NorMuon 通过行自适应缩放增强 Muon 在大规模预训练中取得了强大的经验性能，但其底层自适应机制仍然知之甚少。在这项工作中，我们首次对 NorMuon 的适应性进行了系统分析，揭示了它主要源自正交化引起的几何形状，而不是真正的优化相关信息。在精确正交化下，对于方阵和宽矩阵，自适应缩放因子退化为单个全局标量，而对于高矩阵，它们的变化源于正交化后行能量的不均匀分布。在近似正交化下，正交残差将额外的变化引入到缩放因子中，导致 \textit{正交化-自适应悖论}：更准确的正交化削弱了自适应性。我们进一步证明 NorMuon 的严格行向缩放在几何上与高矩阵的单侧正交结构不对齐。基于对这些局限性的分析，我们提出了理想的 Muon 自适应机制应满足的两个核心设计原则。首先，自适应缩放应该与正交化解耦，缩放因子直接从原始梯度计算。其次，自适应缩放应与极坐标因子的形状相关正交结构保持一致，对宽矩阵使用行缩放，对高矩阵使用列缩放。通过结合其他几个设计考虑因素，包括基于和的二阶矩估计、偏差校正和缩放因子的自适应裁剪，我们获得了解耦几何对齐 Muon (DGA-Muon) 优化器。我们为 DGA-Muon 建立了收敛保证，并通过实证验证了 NorMuon 标度退化的理论表征以及 DGA-Muon 相对于 NorMuon 的优越性。