Muse：超越归一化动量的 μ 子表示几何

Muon 式优化器将极坐标图应用于矩阵动量，但它们的更新也取决于正交化之前每个参数块的表示。我们将这种表示选择作为优化器几何形式进行研究，并引入 {\method}，这是一系列 Muon 式优化器，它们在本机、最近平方、瘦和矢量表示中共享相同的动量规则和 Newton-Schulz 后端。每个弗罗贝尼乌斯等距表示都会产生不同的极性最速下降几何形状，其中较短的矩阵维数决定了支持的奇异通道的数量、回拉缩放以及随机非凸收敛边界中的常数。在师生模型中，曲率塌缩和各向同性的 Marchenko-Pastur 谱剖面将早期耗散与所表示的核与平方 Frobenius 范数比联系起来。 LLaMA2-130M 和 LLaMA2-600M 上的预训练实验以及固定动量诊断表明，平衡的非本机表示可以与本机表示的性能相匹配，而减少较短维度会削弱缩放和奇异通道支持，导致行为越来越类似于归一化动量。