教师应该如何准备？学生模型上策略蒸馏的 RL 诱导状态

摘要

在策略蒸馏（OPD）通过对学生模型生成的轨迹进行token级教师模型监督来提高小语言模型的推理能力。但擅长独立解决问题的老师是否也能有效指导学生模型推理呢？先前的研究表明，当学生模型前缀遵循与教师模型不同的推理路径或包含错误时，教师从这些前缀继续进行的推理可能不如独立解决问题时准确。为此，我们提出了 Prep-OPD，它在蒸馏之前使用强化学习（RL）来训练教师模型以适应学生模型现有的推理状态并在出现错误时纠正过程。训练使用最终答案正确性作为奖励，优化固定学生模型前缀的教师模型延续。准备好的教师模型然后通过轨迹引导和token级别的监督来训练学生模型。我们使用 Qwen3-4B-Instruct-2507 作为教师模型，使用 Qwen3-0.6B 和 Qwen3-1.7B 作为学生，在八个数学推理基准上评估 Prep-OPD。与 4B 教师模型和 1.7B 学生模型相比，Prep-OPD 的平均准确度比标准 OPD 和最强基线 Relay-OPD 分别提高了 8.28 和 2.30 个百分点。对照实验进一步表明，以学生模型生成的前缀为条件的教师模型 RL 比在 Qwen3-1.7B 上有切换和无切换的问题启动教师模型 RL 产生更高的学生模型精度。重复使用相同准备的教师模型也改进了 Qwen3-0.6B。

教师应该如何准备？学生模型上策略蒸馏的 RL 诱导状态的原论文方法或结果图 — 图 2：Prep-OPD 概述。第 1 阶段修复了 $S_{0}$ 的前缀，并训练 $T_{\phi}$，从 $T_{0}$ 初始化，具有结果奖励和仅后缀的 GRPO。第 2 阶段冻结 $T_{P}$ 以进行有界切换和混合轨迹的token级监督。蓝色/紫色token表示学生模型/教师模型一代；蒸馏涵盖两种token类型。推理仅使用学生模型。