COEC：大语言模型 结构化剪枝的校准正交等效补偿

结构化剪枝通过删除权重列来减少 大语言模型 (LLM) 的大小和推理成本，但由此产生的输出错误会降低准确性。现有的 无需训练 补偿方法在保留权重的输出侧使用附加偏差或单个正交旋转。这些修正使其输入奇异框架保持不变，因此限制了保留重量在列移除后的适应方式。我们提出了 COEC（校准正交等效补偿），这是一种 无需训练 补偿框架，它将左右正交旋转应用于保留的权重。右旋转在简化的 Stiefel 流形上进行优化，同时使用广义交叉验证来重新调整奇异值以选择每层的正则化强度。 COEC 进一步调整校准 Gram 矩阵，以减少高能激活方向的主导地位，并引入对齐惩罚，保留相邻注意力投影之间的几何关系。所有组件都使用来自小型校准集的二阶统计数据，既不需要通过 LLM 进行反向传播，也不需要重新训练模型参数。 COEC独立于列剪枝准则，可以应用于多种结构化剪枝方法。在跨多个结构化稀疏级别的 Llama-3、Llama-3.1 和 Qwen2.5 模型系列上进行的实验表明，与现有补偿方法相比，COEC 在大多数设置中提高了每个模型的困惑度和零样本精度，并且在更高的稀疏度下获得了更大的增益。这些结果表明，剪枝后补偿可以恢复因列移除而损失的部分性能。