PC 层：用于改进 LLM 预训练 的多项式权重预处理

我们提出了一个预处理（PC）层，通过多项式预处理器进行权重参数化，以确保在整个 LLM 训练过程中稳定的权重调节。 PC 模块通过低次多项式预处理重塑权重矩阵的奇异值谱。训练后，预处理的权重可以合并回原始架构，不会产生推理开销。对于 AdamW 和 Muon 优化器，我们在 Llama-1B 预训练 中展示了所提出的 PC 层相对于标准 Transformer 的优势。从理论上讲，我们通过证明对于某些深度线性网络来说，统一限制每一层的奇异值可确保梯度下降到全局最小值的几何收敛，从而证明了这种频谱控制原理的合理性。我们的代码可从 https://github.com/Empath-aln/PC-layer 获取。