相对动力学效用：校准全局结构化 LLM 剪枝的跨层信用

全局结构化修剪需要来自不同层的通道在共享的稀疏预算下竞争，这提出了两个相互关联的挑战：确定应保留哪些通道并使其分数在各层之间具有可比性。原始通道分数可以包含块公共尺度，使块内排序保持不变，但扭曲模型范围的竞争。我们的实验表明，类似的分层分配可以保留显着不同的 FFN 通道，因此仅层分配并不能确定通道身份。受这种分离的启发，我们引入了全局相对动力学效用（Global RKU），这是一种无标签标准，将通道重要性估计与跨层比较分开。全局 RKU 使用最终隐藏状态激活梯度信号来测量通道参与度，然后应用块相对标准化来减轻块公共规模，同时保留块内排序，仅需要未标记的校准输入，并在单个校准阶段生成静态修剪拓扑。在 Qwen-2.5-7B 上的仅问题校准下，稀疏度为 30%、40% 和 50% 时，RKU-GISP Mean3 边距分别为 -0.98、+3.79 和 +8.61 点（平均 +3.81）。其他 Qwen 评估涵盖非数学推理、恢复、保留传输和物理部署。另外，用仅问题 Q16K 替换 Wiki16K 可以在 Qwen、Llama 和 Gemma 上的每个测试稀疏度上改进 RKU 的 Mean3。我们的消融研究显示，稀疏度为 40% 和 50% 时，相对标准化增益分别为 14.42 和 5.53 Mean3 点；普通种子审核在所有 27 项种子任务比较中都是积极的。