认识你自己，教导你自己：选择性自蒸馏的内部信息流

摘要

自我蒸馏将知识蒸馏变成一个学习闭环，并提供了一条递归的自我完善之路。然而，如果没有外部教师，模型必须确定哪些信息可以改善其监督以及应该学习哪些引起的变化。现有的方法通常会改进教师生成的数据或单独选择训练示例，从而使这些阶段之间传输的信息无法测量。我们引入了 InFlow，这是一种检索引导的策略自蒸馏框架，该框架将该过程建模为潜在实现的信息流。 InFlow 首先使用确定性校准的隐藏状态轨迹检索潜在的信息源，然后通过教师初始答案信念和检索条件答案信念之间的 Jensen-Shannon 分歧来衡量其实现的效果。选择具有较大信念转变的示例进行在on-policy蒸馏。我们的分析将通过检索和选择优化的信息形式化，并将答案级别的转变与师生蒸馏差距联系起来。在四种开放权重语言模型和三个知识领域中，InFlow 在比较的选择方法中实现了最强的跨模型平均值，并且消融支持框架的两个阶段。我们的代码可在 https://github.com/1240148048/INFLOW. 获取