预训练后增加层循环只有小模型在等计算对照中获益

循环重新应用层块，以便每个 token 多次通过该块。向经过训练的模型添加循环很有吸引力，因为它可以保持参数计数，从而保持磁盘大小、内存占用和训练成本不变。不幸的是，每个生成的 token 都要为循环付费。重新应用 N 层中的 m 层会使每个 token 的成本变为原来的约 (N+m)/N 倍。模型在大规模预训练期间学习的循环证明了这一成本的合理性，但预训练后添加的循环是否证明了这一成本的合理性仍不清楚。我们将循环模型与两个简单的基线进行比较。我们首先将其与在没有循环的情况下进行相同训练的相同模型（相同参数）进行比较。其次，我们将其与相同推理浮点运算（相等的 FLOP）的最佳无循环使用进行比较。在 Qwen3 和 Qwen3.5 模型中，从 0.8B 到 9B 参数，只有循环 0.8B 模型优于两个基线。在 4B 和 9B 处，循环模型没有击败第一个基线，即在没有循环的情况下训练的相同模型。这并不是因为基准测试太简单，因为在相同的基准测试中，未循环的 9B 模型的得分仍然比 4B 模型最高高出 13 分，这表明还有足够的改进空间。因此，在已经预训练的模型中引入循环，只有在参数预算固定的小模型上才值得付出其推理计算代价。