LN Transformer 术前部分残留消融的可重复性研究

残差连接是 Transformer 架构的基本组成部分，但独立考虑时，注意力和前馈残差路径的作用仍然知之甚少。本文提出了在两种尺度（10M 和 124M 参数）下训练的 Pre-LN GPT 型 Transformer 中部分残留消融的可重复性研究。我通过有选择地删除注意力残差连接、前馈残差连接或两者来比较四种架构配置。在 10M 尺度上，受控的 8 种子确定性扫描显示出明显的不对称性：移除注意力残差 (FFNOnly) 达到无残差崩溃状态 (3.350 +/- 0.002)，而移除前馈残差 (AttnOnly) 仍与其保持良好分离 (1.580 +/- 0.003)。随后的受控 124M 扫描表明，这种不对称的方向在匹配的种子下仍然存在：在每个种子中，AttnOnly 达到 6.037 +/- 0.355，而 FFNOnly 达到 7.569 +/- 0.001，观察到的范围之间没有重叠。尽管如此，AttnOnly 相对于 FullResidual (4.577 +/- 0.012) 仍然大幅退化，并且在 124M 下表现出明显更高的种子敏感性。在调查过程中，我识别并纠正了运行时增益缩放中混淆的实验测量结果，并保留了中间再现失败，而不是排除它。我提出通过自注意力进行跨位置路由作为观察到的不对称性的可证伪假设；该机制尚未完成干净的因果测试。为了支持再现性，我发布了源代码、实验配置、训练日志和实验结果，包括中间的非再现运行。