UpLoop用逐步增深与权重复用在固定预算训练循环Transformer

循环语言模型可以通过共享权重的重复计算来加强推理，从而在不添加独立参数的情况下增加执行深度。然而，每次额外的前向执行都会增加训练浮点运算 (FLOP)，从而使获得这些收益的成本更高。为了解决这个成本，我们提出了 UpLoop，这是一种预训练计划，它通过复用并扩展已训练模型（upcycling）来训练循环 Transformer，同时在最终参数量、训练 token 总量和训练 FLOP 方面精确匹配标准稠密模型基线。具体来说，UpLoop 从浅 Transformer 开始，通过复制已学习的层逐渐增加其深度，并使用早期节省的计算量来支持稍后在训练中重复执行共享中间块。跨模型规模的实验显示了语言建模和下游性能的改进，在 1.3B 参数下，22 个下游任务的平均得分从 22.99 增加到 27.52。经过监督微调后，这些收益还可以扩展到数学推理。