μ介子作为残余连接

Muon 最近成为训练大型神经网络最有效的优化器之一，但它的经验成功可以从几个不同的角度来解释。在本文中，我们提出了一个简单的机制解释：Muon可以理解为训练期间的隐式残差连接。具体来说，正交化更新可能会牺牲一些直接的梯度保真度，同时改善下游层的表示保留。我们在受控线性优化设置中研究这种权衡，其中 Muon 可以学习适应本地目标的速度较慢但下游层更容易利用的表示。我们的结果提出了 Muon 的概念解释以及平衡局部下降与下游可用性的优化器的设计视角。