用于深度 Transformer 的 HAARES 半分割剩余基础路由

块级残差路由通过块摘要的路由使学习到的残差聚合变得实用，但每个摘要都会将注意力和 MLP 更新的有序序列压缩为一个累积向量。我们提出了 \method{}，一种轻量级残差基础路由器，它保留累积块源并添加一个半分割细节基础，计算为前半部分和后半部分残差更新之间的差异。细节基础是RMS匹配和在线更新，暴露粗略的块内轨迹信息，而无需密集的子层级路由。在 OpenWebText、跨域字符级基准和 BPE 标记化的 OpenWebText 中，经验模式是依赖于深度的：在浅层深度增益很小或混合，并且在 48 层模型中最可靠。在 201M 48 层设置中，\method{} 改进了所有三个种子的 Block AttnRes，而 453M 两种子探针显示相同的方向。消融排除了源重复、随机签名细节、固定细节源偏差或单独的块计数更改。成本分析表明，该方法是轻量级的，但并非没有挂钟：它增加了内存和路由开销，但其相对算术成本随着宽度的增长而摊销，并且早期收敛可以缩短达到目标的时间。