循环回路 Transformer

状态跟踪需要在每个输入处进行更新，但 Transformer 应用于每个 token 的深度是固定的，无论序列长度如何。我们引入了循环循环Transformer（RLT），它将其层划分为并行因果编码器和循环解码器。在每个 token 处，解码器将编码器输出与前一个 token 的最终解码器状态合并，因此计算路径以固定的每 token 成本随序列长度增长。在六个算法任务中，我们将八层的五个分割与三个种子上的八层 Transformer 进行比较。经过最多 40 位的训练，两个 RLT 分割将奇偶校验推广到 256 位，每个种子的准确度为 100%，而 Transformer 保持 处于随机水平。在训练长度八倍的基于交换的 $S_5$ 排列跟踪上，RLT 达到 97% 的最终状态精度，而 Transformer 的最终状态精度低于 1%，并且精度随着解码器深度的增加而增加。在超出训练长度的模算术中，RLT 高达 93%，而 Transformer 为 33%。 消融 表明这些收益取决于反馈：删除它会在每次拆分时将奇偶校验和基于交换的 $S_5$ 降低到 随机水平。每四个 token 块更新一次反馈，让已知的 token 在块中并行运行，并将 64 位奇偶校验保持在 99%，而排列跟踪取决于每个 token 反馈：分块将基于长度 64 交换的 $S_5$ 从 100% 降低到 20%。