超越矩阵符号：二次谱下降

μ 子可以解释为在谱范数球上优化线性局部目标。这给出了矩阵符号更新，该更新保留了梯度的奇异方向并向所有活动奇异模式分配相同的幅度。我们询问当考虑局部曲率时这两个属性是否仍然是最佳的。为了回答这个问题，我们保持 Muon 的谱范数约束不变，并将线性局部模型替换为二次模型。我们将得到的方法称为 \emph{二次谱下降} (QSD)。我们证明曲率可以改变最优更新的奇异值和奇异方向。为了使 QSD 实用，我们使用克罗内克因式统计来近似曲率，并使用少量 Frank-Wolfe 步骤求解约束二次方程，每个步骤都有一个封闭形式的矩阵符号子问题。我们进一步提供了最优性证书、在相同二次代理下与 Muon 的比较，以及内部求解器的 $O(1/K)$ 收敛率。 GPT 预训练 上的实验表明，QSD 始终改善了 Muon 和最新 Muon 变体的验证损失，并在匹配的验证损失下将挂钟训练时间减少了高达 $8.49\%$。