残差流的均值方向参与设定Transformer MLP的激活阈值

Transformer残差流的语料库均值方向是所有输入共享的分量，并且通常在表征分析之前通过均值中心化来删除。我们提供的证据表明它是一个功能组件：MLP 门群体设置其操作点的参考。在 Phi-2 中，静息门预激活的精确分解表明，在中间堆栈层，>99.9% 的门的静息抑制是通过将 $w\cdot b_L$ 耦合到所携带的平均方向（显式偏差参数为 48-56$\times$）来实现的，并且耦合是方向特定的：匹配范数的随机方向在参考达到的 Spearman $\rho\leq 0.09$ 处命令群体的发射率0.95。 （这个 0.95 本身就近乎同义反复；论文得出了它的零值。）因果关系，删除流在参考上的投影会使阈值以上发射乘以约 9$\times$，剂量单调，在 23-59$\times$ 为标准匹配控制；随机初始化的孪生是平坦的，替换测试表明方向带有函数，而幅度则不然。方向匹配控制也得出同样的结论：沿参考注入的噪声沿随机方向消耗相同能量的 8-42$\times$。该分解在跨越两种门类型的另外四个家族（具有显式门偏置的 GELU、无偏置 SwiGLU）以及其中两个的剂量响应上进行了复制。在八模型扫描中，该机制存在于每个 GELU 和 SiLU 系列中，仅在 OPT 中不存在，其中相反的 LayerNorm 偏差取消了携带的引用。门阈值被实现为与网络为其正在读取的分布构建的常量的耦合，其中偏差参数贡献很小；该常量的多少在流中携带，多少在参数中取决于架构。