政策调整：政策蒸馏中会员审核的新信号

在策略蒸馏 (OPD) 通过将学生模型的策略与教师模型在学生模型本身生成的轨迹上进行调整来训练学生模型。通过这个过程，学生政策在用于蒸馏的提示上向老师靠拢。然而，这些提示通常是私密的且成本高昂，因此需要进行提示级成员资格审核。现有方法主要依赖于基于可能性的置信信号或检查点之间的学生策略漂移，但它们没有捕获教师诱导的学生更新方向。在本文中，我们提出了政策一致性成员审计（PAMA），这是一种为 OPD 量身定制的新审计框架。我们的主要观察结果是，会员提示直接有助于教师指导的政策更新，而非会员提示仅通过交叉提示泛化产生间接影响。基于此定向跟踪，PAMA 衡量学生更新是否朝着减少候选人提示中教师损失的方向发展。具体来说，我们引入教师对齐增益（TAG）来估计教师对齐更新 模型输出的方向，并进一步将其与学生漂移和不确定性对齐信号相结合，以进行可靠的会员审核。我们在六个数据集和三个师生模型系列上评估 PAMA。在主要评估基准 MATH 上，PAMA 的 AUC 值为 0.791--0.941，比最先进的基线提高了 14.6--20.6%。