蒸馏作为概率传输：路由同策略蒸馏

摘要

同策略蒸馏 (OPD) 在学生生成的轨迹上传输教师知识，但有效的采样目标将教师分配减少为单个词元上的标量信用。这种信用表明词元是否应该获得或失去概率，但未指定相应的重新分配。我们将 OPD 重新定义为教师引导的概率传输，并提出 RouteOPD（路由同策略蒸馏），它将本地教师与学生的分歧分解为学生过剩源和教师赤字目的地，并将它们耦合成显式传输对。 RouteOPD 优化成对对数赔率，以实现从有限的教师潜力中获得的共同可实现的目标，同时调整交通预算以适应教师需求的集中度。该公式将更新引导至教师首选的目的地，并在单个运输运营商内控制其大小。四个教师-学生设置和四个数学推理基准的实验表明，RouteOPD 始终优于采样反向 KL OPD，并且改进伴随着更高的路由保真度和更低的背景泄漏。这些结果证明了在同策略蒸馏中显式建模概率传输的有效性。