通过 Transformer 中的学习词元路由实现自适应计算深度

标准 Transformer 架构对每个词元应用相同数量的层，无论上下文难度如何。我们提出了词元选择性注意（TSA），这是一个学习的每个词元门，用于连续 Transformer 块之间的残差更新。每个门都是一个轻量级的两层多层感知器 (MLP)，可产生连续的停止概率，使该机制能够以 1.7% 的参数开销进行端到端可微分，并且无需对基础架构进行任何更改。值得注意的是，TSA 在没有任何显式深度压力的情况下学习难度成比例的路由：即使在 $λ=0$（无深度正则化）时，任务损失梯度本身也会驱动路由器跳过 20% 的词元层操作。在字符级语言建模方面，TSA 在 Tiny-Shakespeare 和 enwik8 中节省了 14-23% 的词元层操作 (TLOps)，质量损失小于 0.5%。在匹配的效率下，TSA 的验证损失比早期退出低 0.7%，并且学习的路由直接转移到推理时间稀疏执行，以实现真正的挂钟加速。