AMUSE：具有稳定梯度评估的任何时间 Muon

现代深度学习通常依赖于具有规定学习率计划的 AdamW，但最近的工作对这两个组件提出了挑战：无计划优化通过迭代平均删除显式计划，而 Muon 通过正交化矩阵参数的动量来改进更新几何。尽管 Muon 具有很强的实证表现，但其基本机制仍被部分了解。我们通过河谷损失景观来研究μ介子，其中有用的训练进展发生在平坦的、低曲率的大块子空间（河流）上，而高曲率的主导方向则形成陡峭的谷壁，从而引发振荡。我们凭经验表明，虽然 μ 子的正交化通过增加体成分加速了河流的进展，但它也放大了主方向噪声，导致振荡轨迹。在此基础上，我们提出了具有稳定梯度评估功能的 Anytime MUon (AMUSE)，它将 Muon 的快速批量进展与 Schedule-Free 平均的稳定效果结合在一起。 AMUSE 使用时变插值系数，最初评估快速 Muon 序列附近的梯度以实现快速适应，然后逐渐转向稳定的平均序列以抑制谷壁振荡。因此，AMUSE 不需要学习率计划并支持随时训练。在视觉任务和 大语言模型 预训练中，AMUSE 持续改进了（无计划）AdamW 和 Muon 的性能迭代帕累托前沿。