Transformer 残余动力学中的前馈转向

仅注意动力学理论将 Transformer 残余方向建模为聚集在球体上的粒子。我们通过将前馈网络（FFN）项作为作用于每个词元状态的本地控制场来扩展该框架。由此产生的理论预测，FFN 场的切向分量对于残余方向空间中的运动是必要的，临界残余方向对应于非线性投影平衡，并且换向器缺陷决定了有限注意力 FFN 块何时可以通过并行加性流精确近似。在 GPT-2、Pythia、Mistral 和 Llama 模型中，扩展理论相对于仅注意基线改进了一步角度预测，FFN 的贡献从 GPT-2 增加到 Llama-3-8B。干预实验表明，仅保留切向 FFN 分量可以保留大部分模型质量，而仅保留径向分量会导致性能崩溃。切向分量还在聚合压力下保留了输出多样性。作为实际应用，具有小换向器缺陷的层可以近似平行化，而损耗仅适度增加，而具有大缺陷的层则迅速退化。这些发现支持将 FFN 层解释为定向引导场，塑造 Transformer 残差几何形状并控制块级干预的可行性。