Stepwise Querying在无教师内部思维链时逐步提问蒸馏推理

推理蒸馏被广泛用于通过教师生成的监督将大型语言模型的推理能力转移给较小的学生。然而，在黑盒设置中，教师可能只公开最终答案和简要解决方案，而无法获得中间计算和有效性条件，从而限制了可用于蒸馏的推理监督。我们提出逐步查询，它可以引出特定于步骤的解释，而无需访问教师的内部思维链（CoT）轨迹。对同一教师的独立查询要求对各个步骤进行中间推导、有效性检查和修正，然后将组装的解决方案用于标准监督微调。在两个教师模型、两个学生模型以及四个数学和代码基准测试中，我们的方法在与三种基线进行的 16 次比较中的 14 次中获得了最高分。我们进一步介绍了逐步解释信息增益（SEIG），该诊断指标计算冻结学生模型在逐步解释和全局解释下正确完成某一步骤的概率之比的对数。对 GSM8K 的分析表明，当错误答案轨迹保留有效的中间推理时，它们仍然有用，而进一步分解产生的额外收益有限。