循环Transformer作为优化器

循环 Transformer 通过重复应用共享 Transformer 块，提供了一种参数高效的深度缩放方法。最近的推理模型同样强调了通过更长的计算轨迹扩展测试时间计算的价值。然而，设计有效循环转换的原则仍然知之甚少。我们将循环隐藏状态视为在整个深度上更新的快速权重。我们将循环转换制定为基于局部梯度的更新，其中循环块预测每个深度的隐式目标。我们的框架从投影、局部目标和优化器更新规则中导出闭合形式的循环转换。将代表性循环转换映射到该框架中揭示了它们的转换和投影之间的不匹配。我们首先对齐现有转换的输入映射。然后我们推导出 OperLoop，它结合了显式权重衰减、自适应步长和增量目标。对齐的变体减少了训练损失并提高了平均常识准确性。在匹配的训练 FLOP 下，与循环和非循环基线相比，OperLoop 提高了平均生成性能。这些结果支持该框架对于循环设计的有用性。我们将分析扩展到其他循环模型，并概述了未来循环过渡设计的路线图。