循环循环！

我们提出了 Loopie 系列，由两个专家混合 (MoE) 模型组成：一个具有 2B 个主动参数的 20B 参数模型和一个具有 0.6B 个主动参数的 6B 参数模型。循环 Transformer 长期以来一直面临着挑战：假设 预训练 计算量增加 N 倍，将参数计数增加 N 倍通常优于循环模型 N 次。 Loopie 解决了这一挑战。广泛的消融研究（包括与普通 30B-A3B 模型的比较）表明，Loopie 的性能明显优于使用相同计算预算训练的普通 Transformer 基线。 Loopie通过新颖的后训练方法，发展出强大的推理能力，达到前沿水平的推理性能。