几乎自由状态预测分离

状态预测分离（SPS）通过将前向传递分为状态流和预测流，减轻了语言模型的隐藏状态的两个竞争负担（总结上下文和预测下一个标记）。这种分离有效，但成本高昂：预测流是整个骨干网的第二次传递，成本为预训练 FLOP 的 $\sim$1.9$\times$，而使用灵活的注意力掩模时，在挂钟时间方面的成本甚至更高。这篇论文使得状态预测分离几乎是免费的。我们使用免费暂停标记将分离达到极限：一个根本不写入键或值的预测流，因此会占用序列的现有位置。在实践中，它在 1B 参数模型上将标准 Transformer 的下一个词元预测提高了 2-3 分，并且因为它不添加任何位置，所以在推理时没有任何成本 - 没有增加上下文长度，没有 KV 缓存，没有解码步骤，并且基本上没有延迟，推理失败的增长通常无关紧要，因为它不是吞吐量的活动瓶颈。因此，成本完全在训练中，我们使用四种机制来降低成本：保持 FlashAttention 内核可行的两遍分割、$w{=}0$ 预测窗口、共享门控 FFN（每个位置评估一个 FFN，而不是每个流评估一个 FFN），以及将分离阶段化到运行的尾部。与优化的预训练管道相比，这些总和使开销达到 1.33 美元\倍$挂钟，同时与 SPS 相比恢复了约 94% 的增益，并且在质量/计算的完美权衡下低至 1.09 美元\倍$。此外，FFN 优化减少了推理时所需的原始触发器。结果是 isoflop、isoparameter 和 isotoken 比标准下一个词元训练的 Transformer 有所改进。