无免费交换：Transformer 中协议相关层冗余

当研究人员询问两个 Transformer 层是否“等效”进行压缩时，他们经常将不同的测试混为一谈。替换询问一个图层的地图是否可以替换另一图层的地图；交换询问两层交换位置时是否大致可通勤。两者都是输出输出依据关联的交换-KL 探针，但它们不需要一致：在预训练的 Transformer 上，协议间隙可以改变哪些层在同一评估器下看起来可以安全地修剪几倍，特别是当替换距离很高时。我们跨检查点和架构测量这两种协议。在 Pythia 训练轨迹（410M 和 1.4B）上，替换交换间隙从初始化到收敛不断增大。在一份匹配的 8B 规模的 WikiText-2 合约下，Qwen3-8B 进入了一种不同的状态：在同一层预算下，交换引导的删除比替换引导的安全数倍，而 Llama-3.1-8B 将两种协议的修剪成本联系在一起，即使交换 KL 较低，这表明度量差距不需要一对一映射到删除。在层移除或合并之前，在目标检查点上对两个交换-KL 进行评分；诊断仅需要未标记的前向传播。