DynMuon：Mu 子的动态光谱整形视图

近年来，Muon 已成为训练 大语言模型 和更广泛的 Transformer 的主要方法。与标准梯度下降法相比，本质区别在于用极因子 $UV^\top$ 替换通常的更新矩阵 $M=UΣV^\top$。在这项工作中，我们考虑一类类似 Muon 的更新，其中对于某些参数 $p$，我们将更新 $M$ 替换为 $UΣ^p V^\top$。我们将其称为“频谱整形”操作，并开发了一种如何选择 $p$ 的理论，该理论取决于 (a) 损失函数的局部曲率，(b) 来自随机梯度和标签噪声的噪声，以及 (c) 训练阶段。我们的理论和实验揭示了一个以前被忽视的行为：正的 $p$ 通过强调高曲率方向和加速信号收缩来帮助早期，而轻微的负 $p$ 通过向仍然包含有用训练信号的低曲率方向重新分配更新强度来帮助以后。基于这一见解，我们提出了 DynMuon，这是一种高效的动态频谱整形方法，可在训练过程中将 $p$ 从正值安排到轻度负值。跨模型大小、架构和训练设置的大量实验表明，DynMuon 始终实现比 Muon 更低的验证损失，同时达到相同目标损失所需的步骤少 10.6-26.5%。我们的代码可在 https://github.com/fzwark/DynMuon 获取。