对数深度递归语言建模

尽管 Transformer 的计算深度和输入标记的二次运行时间固定，但使用 Transformer 进行语言建模已变得司空见惯。另一方面，循环模型提供线性深度，但没有并行执行。在这项工作中，我们将平衡树递归运算符从序列编码扩展到自回归预测，使得所有前缀表示都可以使用对数深度和线性运行时间来计算。我们的实验提供了该模型类的初步表征，展示了稳健的长度外推和接近基于 ALiBi 的 Transformer 的性能，突出了其作为语言建模替代架构的潜力。