ReCal：校准结构化剪枝以实现按策略蒸馏恢复

结构化剪枝降低了推理语言模型的部署成本，但由此产生的能力下降可能会阻碍后续的策略蒸馏（OPD）恢复。由于 OPD 依赖于学生生成的轨迹，因此离线蒸馏后持续存在的修剪损伤可能会限制其有效性。我们提出 RECAL（恢复感知校准），这是一种简单的即插即用方法，可通过在修剪之前调整校准来提高 OPD 恢复。 RECAL 使用未剪枝教师和剪枝探针之间的前向 KL 来识别因剪枝而中断的教师支持的预测，然后重新加权校准统计数据以指导现有剪枝标准保留这些预测。在多种模型和修剪方法中，RECAL 持续改进 OPD 后的数学推理，在 AIME 上实现高达 16.7 个百分点的增益，同时在大多数代码生成比较方面也有所改进。进一步的分析表明，RECAL 减少了受影响严重的token的残余损坏，并建立了在恢复过程中持续存在的性能优势。这些结果 展示恢复感知校准对于改善修剪推理模型的策略蒸馏恢复的价值。