GNMR：低精度 大语言模型 训练的运行时稳定性控制

训练稳定性是低精度语言 模型训练 的一个关键瓶颈：高效的低成本路径仍然会在一小部分算子上产生短暂的数值风险。我们将其表述为运行时稳定性控制，并提出了梯度范数与均值比（GNMR），这是一种轻量级控制器，可将每个可恢复单元的当前梯度范数与其历史平均值进行比较。与用于突然短窗口增加的 $Δ$-GNMR 一起，GNMR 将局部风险信号映射到硬 $\mathrm{maxO}$ 预算和短锁定间隔下的有界恢复操作，而无需更改数字格式、内核或后端配方。在激活量化压力、DeepSeek 式配方级训练和 LLaMA-2 13B 微调 中，GNMR 保持了高保真质量和稀疏的预算恢复。这些结果支持 GNMR 作为与后端无关的控制器，以提高低精度训练稳定性，同时保持低成本执行。