具有以源为中心的状态演化的循环 Transformer

循环 Transformer 通过在循环深度上重复使用相同的 Transformer 块来创建有用的训练和测试时间计算轴，从而以固定参数计数增加有效深度。然而，该共享块必须在训练和外推深度上管理不同隐藏状态的整个轨迹。此外，在加法注入循环 Transformer 中，在每个循环步骤中重新引入输入条件信号，因此在输入条件参考处应用共享转换仍然可以移动隐藏状态。在本文中，我们提出了以源为中心的状态演化（SCSE），其设计目的是协调输入调节与参考保留共享递归。具体来说，SCSE 通过其学习的锚点和初始偏差保留输入依赖性，允许非零偏差驱动循环计算，同时将零偏差映射到零，并通过其零偏差掩码保证精确的锚点不变性。因此，指定的锚点是通过构造而形成的一步式固定点。零偏差强制偏差是锚本身产生的下一个偏差，并在 SCSE 中消失，而非零偏差保持活动状态并支持状态相关的循环计算。我们的理论表明，零偏差强迫偏差是一种设计自由度，其任务效果可能是有害的、中性的或有益的； SCSE 通过将偏差设置为零来解决此选择，有利于精确的锚点不变性。通过 WikiText-2、WikiText-103、直接网络语料库预训练、保留网络文本传输和 LAMBADA 完成，SCSE 改进了受控的循环质量边界。消融研究将学习的锚点和锚点坐标偏差复发确定为增益的主要贡献者，并且经过训练的模型案例研究将锚点响应诊断建立在观察到的反复运动中。