论文

VISTA:利用结果验证让教师适应学生的同策略自蒸馏

VISTA: Verifier-Informed Student-to-Teacher Adaptation for On-Policy Self-Distillation

摘要

同策略自蒸馏(OPSD)让只看到题目的学生在自身采样轨迹上接受逐词元监督,教师还能看到参考解答。然而,标准OPSD沿学生轨迹把教师分布当作固定目标,只更新学生;额外信息并不保证教师始终提供适合仅凭题目推理的监督。当教师分布与有效的学生推理不一致时,这种单向指导可能误导学生。我们提出VISTA,在保留标准学生更新的同时,用结果经验证的采样轨迹让教师向学生分布适应,并只调整师生KL散度最大的top-k位置。VISTA复用标准OPSD的采样轨迹与损失,不增加采样或独立奖励目标。使用1.7B、4B与8B的Qwen3在AIME24、AIME25和HMMT25上评估,各规模的Avg@12均最高,比OPSD分别提高0.6、0.7和2.1点。这支持利用已验证结果的学生轨迹提供监督,并提示学生到教师的适应可作为OPSD改进方向。