Transformer 残余流的动力学：将谱几何与网络拓扑耦合

大语言模型 的能力非常强大，但计算如何通过其层传播仍然知之甚少。越来越多的工作将深度视为离散时间，将残差流视为动态系统，其中每一层的非线性更新都有局部线性描述。然而，之前的分析依赖于标量汇总或近似线性化，使得经过训练的 LLM 的完整光谱几何形状未知。我们在三个生产规模 LLM 上执行完整的雅可比特征分解，并表明训练在深度上安装了单调谱梯度——从非正态、旋转主导的早期层到近对称的后期层——以及累积的低秩瓶颈，该瓶颈将扰动集中到残余流有效维度的一小部分。我们的实验表明，这种梯度和维度崩溃是习得的，而不是结构性的，并且当结构化的非正态性被消除时，这种梯度和维度崩溃在很大程度上会消失。我们进一步表明，图社区的拓扑定位可以预测雅可比矩阵是放大还是抑制它们，耦合的符号由局部算子类型决定，这种关系在初始化时不存在。这些结果映射了 LLM 中学习到的谱几何，将扰动传播和压缩与网络的功能拓扑联系起来。