共享权重中的分层迭代与扁平迭代 Transformer

我们提出了一项实证研究，探讨分层结构、共享权重递归是否可以与基于 Transformer 的语言模型中独立层堆叠的表示质量相匹配。 HRM-LM 用双速循环对替换了 L 个独立的 Transformer 层：一个快速模块在每一步运行以进行局部细化，一个慢速模块在每 T 个步骤上运行以进行全局压缩。此循环层次结构针对具有共享参数的 M = N x T 步骤展开。最核心、最有力的发现是两种方法之间存在巨大的经验差距，这一发现得到了五次独立运行中参数匹配的通用 Transformer 消融（UniTF，1.2B）的支持。