论文
HiRes解耦Transformer残差状态宽度与层内计算宽度
Hierarchical Residuals: A Minimalist Decoupling of Residual Width from Compute Width
摘要
残差连接是 Transformer 的基础，但它们隐含地将深度上的残差宽度与每层内使用的计算宽度联系起来。我们引入了分层残差（HiRes），这是一种极简的架构变化，可以解耦这些维度，拓宽残差状态，同时保持每层计算宽度固定。 HiRes 将层分组为块：标准 d 维 PreNorm 层在每个块内部运行，而更宽的 D 维 PostNorm 外层残差负责连接各块。可学习的读写投影桥接了块边界处的两个空间，使各个 Transformer 层保持不变。在不同的模型大小和深度上，HiRes 始终优于普通残差加法，拟合的尺度律表明，FLOP 效率提升至原来的 1.30 倍。在 500B token 的 OLMoE-1B-7B 预训练中，HiRes 实现了 0.0208 的训练损失降低和 1.14 个百分点的下游精度提高。 HiRes 还与其他残差扩展方法（例如 VWN、mHC 和 AttnRes）表现相当，具有更少的激活值内存和 I/O 成本。它仅由稠密投影和归一化构建而成，既不需要专门的内核，也不需要基础设施级的优化。因此，HiRes 仅使用标准运算符将残差宽度变为实用的扩展维度。
