不动点推理器：稳定自适应的深循环Transformer

摘要

循环架构为需要组合推理的任务提供了学习逐步程序的归纳偏置。循环达到的有效层数决定这些模型找到的解的质量。与深架构一样——循环架构在停止决策被推迟时易受深度引起的信号传播问题影响。本文中——我们以预归一层与残差缩放解决该信号传播问题。基于这些架构修改——我们提出FPRM——基于Transformer的不动点推理模型——在循环架构中以不动点收敛作为端到端停止机制。我们表明不动点停止使FPRM能把计算适配到任务难度。FPRM在常见推理基准上有效——即数独、迷宫、状态追踪与ARC-AGI。

不动点推理器：稳定自适应的深循环Transformer：论文配图 — (a) 可训练性与上下文长度 (b) 初始化时的激活规范。图 2：循环变压器中深度的祝福和诅咒。增加有效层的数量可以释放表达能力，但也会带来稳定性挑战：没有残差缩放的前规范模型可能会在激活规范上出现分歧，而后规范模型可能难以利用信号。图 3：FPRM 架构。我们的定点环形变压器使用预范数和残差缩放来改进信号传播。