层间稀疏性中超越层的重要性：层间扰动吸收视角

大语言模型 (LLM) 中相当大的分层冗余已经建立了跨层的非均匀稀疏分配作为高效压缩的标准修剪方法。现有的从激活异常值或权重谱等局部信号估计分配策略的分层分配方法主要源自局部层重要性，而最终的后剪枝性能也受到网络后续补偿能力的影响。在本文中，我们通过受控扰动实验直接表征这一性质。我们得出以下实证结果。首先，各层对修剪尺度扰动表现出高度异质的响应。在大多数情况下，早期层会放大扰动，而中间层和晚期层会主动吸收扰动，相对 L2 漂移在深度和方向上单调减少，重新对准未受扰动的隐藏状态轨迹。其次，吸收是一种大扰动现象。在小扰动下，网络在所有层上表现出放大，并且随着扰动幅度增长到剪枝规模，平稳地过渡到吸收。这丰富了相关工作背后的线性积累理论。基于这些发现，我们定义了每层的吸收系数，并提出了吸收感知校正，这是一种正交增强，通过在 70% 稀疏度的多个模型系列中将困惑度降低 7.13%，并将零样本精度提高 1.02%，从而改进 OWL 和 AlphaPruning。