仅解码器语言模型中的谱尾干预：来自受控手术的推理敏感权重结构

权重空间结构通常与语言模型行为相关，但仅相关性并不能建立计算参与。我们通过受控干预研究仅解码器Transformer中集中的上光谱尾部。在固定的相对偏移处，我们推导出一个有限宽度的条件界限，将平方奇异值的逆参与比与中心 pre-softmax Logit 峰度联系起来。然后，我们定义一个逐点查询-关键（$QK$）产品尾目标，并将独立因素手术与保留本机注意力计算的产品目标分解进行比较。跨三个基本检查点和五个推理基准，加上单独分析的指令调整 Phi 检查点，学习尾部编辑比所有 20 个模型任务单元中五个固定频谱匹配 Haar 控制的平均值更具破坏性。经过霍尔姆校正后，十八对对比仍然显着，而两个是有方向性的，但不确定。以产品为目标的因素获得了更高的尾部子空间分数，在产品和因素层面的干预之间提供了一座经验桥梁。组件隔离识别来自 $QK$、值输出和多层感知器模块的贡献，尽管该定理仅涵盖 $QK$。在单独的研究中，逆参与先于匹配交叉规则下的汇总准确度转换，并且残差尾部感知低秩适应 (LoRA) 比标准 LoRA 和 PiSSA 更早达到目标，而最终得分间隔重叠。结论仅限于评估的检查点、层次、任务、干预措施和控制。