DualOPSD：同策略 自 蒸馏 的自适应特权教师

同策略 self-蒸馏 (OPSD) 使用学生模型的特权副本来提供密集监督，无需外部教师。即使学生分布和输出风格在训练过程中发生变化，OPSD 也能保持这位特权教师的固定。我们提出 DualOPSD，这是一种适应两种政策的非对称交替框架。学生首先向有特权的老师学习。然后，教师按照相同的学生轨迹转向更新的学生分布。此更新使后续监督能够响应学习者的需求，并且不需要再次采样轨迹。在非思考模式下的 Qwen3-8B 上，DualOPSD 在 AIME 2024、AIME 2025 和 HMMT 2025 上将 avg@12 比 OPSD 提高了 23.61、13.89 和 10.00 个点。1.7B 和 4B 的结果表明，精度增益取决于模型规模。在所有三个尺度上，DualOPSD 都减少了截断。 4B 诊断还显示教师和学生之间两个方向的 KL 较低。