CacheMuon：使用时间预处理来近似极坐标因子

Muon 是一种优化器，它使用动量矩阵的极坐标因子来计算更新，并在一系列训练设置中显示出强大的经验性能。 Muon 的一个关键组成部分是用于计算该极因子的牛顿-舒尔茨迭代。尽管这避免了精确奇异值分解的成本，但在实践中仍然很昂贵，因为它应用于每个优化步骤。同时，动量矩阵在训练过程中变化平稳，表明相应的极因子具有很强的时间相关性。在本文中，我们利用这种结构并提出了 CacheMuon，这是一种时间预处理方法，它重用先前优化步骤中的信息来近似当前步骤的极因子。这减少了迭代中的冗余正交化计算。我们将 CacheMuon 分析为不精确的 Muon 更新，其错误由新鲜求解器错误和缓存陈旧性控制。根据经验，CacheMuon 提供了一个可控的质量效率边界：保守的阈值在语言模型和视觉训练上与新的 Muon 非常匹配，同时减少了正交化 FLOP，而更激进的阈值会以适度的验证质量下降为代价产生更大的算术节省。