Pion：通过正交等价变换的频谱保留优化器

我们介绍 Pion，一种基于正交等价变换的 大语言模型 (LLM) 训练的频谱保留优化器。与 Adam 和 Muon 等加法优化器不同，Pion 通过左右正交变换更新每个权重矩阵，在整个训练过程中保留其奇异值。这产生了一种优化机制，可以调节权重矩阵的几何形状，同时保持其谱范数固定。我们推导出 Pion 更新规则，系统地检查其设计选择，并分析其收敛行为以及几个关键属性。实证结果表明，Pion 为 LLM 预训练和微调提供了标准优化器的稳定且有竞争力的替代方案。