时间循环有利于更少的层数

在流任务中，循环模型可以跨时间进行潜在计算，从而允许每次更新都建立在之前生成的表示的基础上。这就提出了一个基本问题：一旦时间递归提供跨步骤的顺序计算，每个步骤内还需要多少深度？先前的工作表明，递归可以使浅层模型具有竞争力。相反，我们将这个问题作为计算分配问题来研究，在多个计算预算中改变步内深度、专家宽度以及每层并行专家的数量。对于每个预算，我们比较观察到的最佳经常性和非经常性分配以及​​它们在近似匹配的每步计算下实现的性能。在 Sokoban 和自回归 FineWeb 语言模型中，我们发现时间循环将观察到的最佳计算分配转向更少的层，并且具有相当或更好的性能。