论文

校准保持修剪:压缩作为可靠性契约

Calibration-Preserving Pruning: Compression as a Reliability Contract

摘要

一旦剪枝模型独立于保形校准分割而固定,分割保形预测(而不是剪枝规则)将提供有限样本边缘覆盖。我们研究单独的效率问题:剪枝能否很好地保留得分几何形状以获得更小的有效预测集?保留校准剪枝 (CPP) 通过不合格梯度显着性增强基本剪枝分数,并使用不相交剪枝、验证选择、保形校准和测试分割。有界得分扰动意味着有界共形分位数移位和受控集合膨胀,但并不使通用覆盖定理特定于 CPP。最终五种子 Qwen2.5-1.5B 在 50% 稀疏度下的结果显示了大标签任务的最大收益。在 DBpedia-14 上,CPP-SparseGPT 将平均集大小从 \(10.1\) 减小到 \(8.6\),同时将精度从 \(0.347\) 更改为 \(0.366\); CPP-Wanda 将 \(11.2\) 减少到 \(9.0\),精度从 \(0.310\) 到 \(0.295\)。在 15 个数据集稀疏单元中,CPP-SparseGPT 在 13 个数据集中产生较小的集合,在 11 个数据集中产生更高的精度。匹配的控制表明,通用监督梯度解释了大部分增益:真实标签 CPP 没有从匹配的 Wanda+SNIP 中统计解析,而阈值感知候选标签 CPP 在显式精度和离线计算成本下达到 \(7.8\) 平均集大小。 RoBERTa-base 和 Llama-3-8B 诊断支持转移,但我们的主张仍然仅限于可靠性敏感的分类。