Pro-KLShampoo：通过正交化恢复美白效果的预计 KL-洗发水

利用梯度矩阵结构的优化器是现代 LLM 预训练 的核心，具有两个不同的前沿：显式克罗内克因子预处理（最近的 KL-Shampoo，它通过 KL 散度最小化来估计预处理器）和梯度动量的正交化（以 Muon 为例，并在谱范数下分析为最速下降）。这两条路线通常是单独开发的。我们对 KL-Shampoo 的 Kronecker 预处理器进行了结构观察：它们的特征值谱呈现出 \emph{spike-and-flat} 形状——几个主要特征值，后面跟着一个近似均匀的尾部——跨层和训练阶段，完全保持在rank-$ρ$信号加噪声梯度模型下。我们通过将 KL-Shampoo 的克罗内克因子之一限制为与尖峰和平坦形状对齐的参数族来利用这种结构：跟踪的 $r$ 维子空间上的完整光谱结构，剩余 $n-r$ 方向上的单个共享特征值。在这些方向上，我们应用正交化。恒等式表明这种正交化恢复了完整 KL-Shampoo 预处理器的代数形式。在四个 预训练 量表（GPT-2 124M / 350M、LLaMA 134M / 450M）上，Pro-KLShampoo 在我们测试的每个子空间等级上的验证损失、每 GPU 内存峰值以及达到每个损失水平的挂钟时间方面始终优于 KL-Shampoo。