一次复发值多少钱？循环语言模型的等深度缩放定律

我们以等效的唯一参数来衡量一次循环对于循环（深度循环）Transformer 的价值。从训练计算中跨越 ${\sim}50\times$ 的重复计数 $r \in \{1, 2, 4, 8\}$ 的等深度预训练扫描，我们拟合联合缩放定律 $L = E + A\,(N_\text{once} + r^{\varphi} N_\text{rec})^{-α} + B\,D^{-β}$ 并测量重复等效性指数 $\varphi = 0.46$。直观上，$\varphi$ 告诉我们循环块 $r$ 次在验证损失方面是否相当于非循环模型的 $r$ 独特块（完全等价，$\varphi{=}1$）或重复运行但没有容量增益的单个块（$\varphi{=}0$）。我们的 $\varphi = 0.46$ 位于两者之间，因此用共享重复替换唯一块会增加匹配训练计算时的验证损失。例如，在 $r{=}4$ 时，410M 循环模型的性能与 580M 非循环模型相当，但会产生 1B 非循环模型的训练成本。我们在两个案例研究中证明了 $\varphi$ 作为诊断工具的实用性：常用的截断反向传播将 $\varphi$ 降低到 $0.38$，这表明即使验证损失减少，循环机制在截断下的训练也很差。相反，超连接将 $\varphi$ 提高到 $0.65$，这是真正的容量增益。我们的方法将真正的循环改进与训练方面的收益分开，这是原始验证损失无法做出的区分。