论文

压缩分数无法决策时:分组鲁棒LLM剪枝的信息边界

When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning

摘要

重复可再现压缩统计仍可能选择错误的候选者。一个0.906的二分法可靠性分数预测了16.1%的收益。其选定的终点比两个对照组差6.0%和7.7%。我们通过信息接口模型化差距,这些接口限定每个统计量支持的区分。对于等权重组,一个椭圆定律给出了正线性固定候选者损害的精确池化价格,包括对角和全PSD第二矩。三个两世界构造和一个准确的观察纤维半径刻画了未解决的池化矩、组局部矩和参考路径曲率。一个组相关的对角恢复了广泛的损害顺序(Spearman 0.9239),而精细顺序仍然较弱。相对于平衡均匀分配,粗浅深度分配在三个密集LLM上将最差组困惑度膨胀降低12.6%—20.9%。模型特定的完整掩码候选者选择优于这些参考点2.7-8.0%。在OLMoE中,路由器轨迹预测单个方向(114/192,最强标签重排为81/192)。一层有限菜单决策导致了13.7%和7.2%的保留组KL减少。局部测量构建候选者。选择由完整的候选者端点或验证过的均匀保证授权,不确定性校准到每项比较。