μ 子的光谱缩放定律

正交归一化更新规则已迅速成为训练 大语言模型 优化器的主要选择，最近的开源最先进模型采用了 Muon。为了保持这些更新易于处理，Muon 使用 Newton-Schulz (NS) 迭代执行正交归一化。由于 NS 只是近似值，因此奇异值较小的方向无法进行正交归一化。在 Muon 中，NS 在每一步都应用于动量矩阵，但人们对这些动量矩阵的奇异值谱在训练过程中如何表现，或者该行为如何随模型大小变化的情况知之甚少。我们首次系统地研究了这个问题。跟踪参数范围从 77M 到 2.8B 的模型中跨层动量缓冲区的奇异值分位数，我们观察到一致的情况：经过短暂的老化后，分位数稳定在由层类型和模型大小确定的值。这些稳定值在模型大小方面遵循非常干净的幂定律，具有依赖于层的指数。模型大小为 $M$（大约 $M^{-0.25}$）的层非常温和地达到中后期深度尺度，因此学术规模使用的标准 5 步 NS 配置将继续在更大的尺度上对它们进行正交归一化。然而，一些后期层的扩展更加激进（高达 $M^{-0.96}$），并且将陷入前沿规模的 NS 失败状态，除非使用更多的 NS 迭代或更好调整的系数。 NS 迭代在规模上的计算成本很高；我们的定律为从业者提供了一个有原则的、分层感知的方法，用于选择最小的 NS 配置，该配置仍然对重要的方向进行正交标准化——避免不必要的计算，而不牺牲更新质量。