压缩何时有用、何时有害：思想链的条件感知分析 蒸馏

思想链 (CoT) 蒸馏 将多步推理从大型推理模型转移到较小的学生，但冗长的教师跟踪会增加训练和推理成本。现有的 CoT 压缩方法分为选择性剪枝和生成重写两个系列，但先前的研究使关键因素相互纠缠：粒度与剪枝中的重要性标准相混淆，重构水平在重写中很少被孤立，压缩预算没有跨领域或机制进行系统评估。我们从三个维度重新构建 CoT 压缩：重要性标准、重组级别和压缩预算。将这些跨越两个模型系列、数学和通用领域以及长/短 CoT 机制，我们发现（i）重要性标准效用严格受粒度控制：步骤级标准收敛于共享推理主干，而 词元级 剪枝需要符号感知信号来保留逻辑核心； (ii) 跨领域的重组水平反转：数学随着结构破坏而单调降级，而积极的重写则充当一般任务的降噪器； (iii) 训练时间压缩并不一定意味着推理时间节省：尽管有简洁的监督，长 CoT 学生仍保留冗长的习惯，这使得训练比率成为部署成本的乐观下限。这些发现产生了用于将压缩与部署环境相匹配的条件感知指南。