无归一化 Transformer 初始化时的亚临界信号传播

我们通过平均部分雅可比范数（APJN）（跨层梯度放大的度量）来研究 Transformer 中初始化时的信号传播。我们通过推导跨层激活统计和 APJN 的递归关系，将 APJN 分析扩展到具有双向注意力和排列对称输入标记配置的 Transformer。我们的理论预测了注意力如何改变大深度的 APJN 的渐近行为，并与深度视觉 Transformer 中测量的 APJN 相匹配。从残差网络中获知的临界图也适用于 Transformer：前 LayerNorm 架构表现出幂律 APJN 增长，而 LayerNorm 被元素 $\tanh$ 类非线性取代的 Transformer 具有拉伸指数 APJN 增长，表明后者是亚临界的。该理论应用于动态 Tanh (DyT) 和动态 erf (Derf) Transformer，解释了为什么这些架构对初始化和优化选择更加敏感，并且需要仔细调整才能稳定训练。