PowLU：LLM 的稳定 预训练 的激活函数

在当代的大语言模型（LLM）中，广泛采用swish-gate Linear Unit（SwiGLU）激活函数来调节信息流并引入非线性。对于大的正输入，SwiGLU 近似二次函数 $x^2$，提供强大的非线性和表达能力。然而，随着输入或模型规模的增加，此属性也会导致数值不稳定，特别是在低精度 LLM 训练中。主要原因是其近似二次放大，扩大了输出范围并加剧了异常值。为了解决这个问题，我们针对大规模 LLM 预训练 提出了一种稳定的激活函数，即幂线性单元（PowLU）。具体来说，PowLU 采用有理幂函数来实现自适应非线性，从而提高表示能力并实现尖峰区域的稳定训练。此外，我们还为 PowLU 的几个关键属性提供了理论依据。缩放定律实验证实，不同模型大小的性能是一致的，并且 Ling 架构（7.9B 和 124B 总参数）的进一步实验结果表明，PowLU 在 LLM 的大规模训练中取得了与 SwiGLU 和 SwiGLU-Clip 竞争的结果。此外，实验结果还表明，PowLU有效提高了LLM大规模训练的可扩展性。