检查残差：Transformer 的更新条件残差门控

剩余连接以固定系数 1 添加每个子层的建议更新；网络在提交更新之前从不评估更新是否可靠。借鉴独立验证的人为因素原则，我们引入了Review Residuals，它通过学习的、依赖于输入的门来缩放每次更新，该门以当前状态和建议的更新为条件：h_l = h_{l-1} + r_l * u_l with r_l = sigmoid(W[RMSNorm(h_{l-1}), RMSNorm(u_l)])。在更新上调节门是其与先前门控和缩放残差的区别的属性。我们报告了两个发现。首先，深度稳定性结果：凸形（高速公路式）形式的门重新引入了梯度消失，并且无法训练超过约 20 层，而加法、身份保留形式在我们测试的所有深度上都能稳定训练。其次，具有规模的出现结果：在五个尺寸（60M-1B 参数、多种子）上从头开始训练，Review Residuals 在小规模下没有表现出优势，但在 590M 上显着优于参数匹配的 Highway gateway 和参数匹配的标准残差（p<0.05），在 1B 上具有更大的优势。好处随着模型尺寸的增加而增加，而不是缩小。