通过行和列尺度场观察Transformer重量的细观视图

Transformer 权重的汇总统计数据掩盖了各个功能通道的大小分布情况，而单个权重太多，无法直接比较。我们研究它们之间的介观级别：行和列尺度字段、权重矩阵在其通道上的中值中心对数 RMS 分布，它们与全局尺度和完全平衡核心一起准确地表示矩阵。在四种大小的公共 Pythia 检查点和来自三个初始化系列的受控运行中，平衡揭示了相似的测量核心幅度分布。混合桥的形式在分析之前固定并拟合系数，可以预测受控网格的保留运行和数据臂上的池形状偏离场宽度。索引字段保留了进一步的结构：它们跨共享功能通道的投影对齐，查询/密钥配置文件遵循重新分配的 RoPE 频率而不是固定的矩阵坐标。训练轨迹显示早期场形成，随后是依赖于组件的扩大或衰退。将基于通道的分析扩展到 AdamW 二阶矩，揭示了其对数空间行和列因子中的相关功能组织。最后，对冻结检查点的编辑将倒数比例平衡分开，从而保留了前向计算与相对通道增益的关系：平坦化增益会增加分布内损失，同时保留矩阵范数和平衡核心。因此，行和列尺度字段将汇集的幅度统计数据连接到通道组织，并为跟踪和测试训练的权重结构提供坐标。