RMSNorm Transformer 的有符号排列坐标传输

现代 LLM 工作流程跨检查点移动坐标索引对象：转向向量、稀疏自动编码器、top-$k$ 神经元集、属性列表和合并对齐。只有在修复了模型的残差流规格后，这才得到很好的呈现，我们证明它是依赖于架构的：LayerNorm残差图表具有排列规格$S_d$（直到全局符号翻转），而具有通用每通道增益的RMSNorm图表具有符号排列规格$B_d = S_d \ltimes \{\pm 1\}^d$。因此，对于 RMSNorm 模型，仅排列对齐是不对称的。我们引入了符号边缘化匈牙利匹配并证明了一种尖锐的失败模式：对于去相关坐标，原始符号相关匹配在真实规范的正号部分处具有结构排列精度上限，而符号边缘化将其删除。然后，我们将坐标保留传输而不是功能级合并作为主要目标：沿着相同基 微调 轨迹组合保存的检查点本地 $B_d$ 仪表可在 1500 步时恢复 91.1% 的交叉运行坐标，而端点匹配则为 60.3%，并且增益不能仅通过通过基路由来解释。恢复的规范传输工具仅排列对齐会中断：TinyLlama SAE 重建在 $B_d$ 下的 NMSE 为 0.004，而在 $S_d$ 下为 1.08； Qwen 情绪引导保留了 95.8% 的效果，而 Qwen 的效果为 17.2%； $S_d$ 下的拒绝转向反转标志；坐标保留合并的行为方式相同。相同的协方差控制着状态训练：AdamW 状态的有符号传输保留了恢复的轨迹，而仅排列状态则遵循与功能相同的检查点不同的状态。最后，指标扫描审计表明，指数级可解释性声明仅相对于明确的指标才能重现。