ALRA：基于 logits 的自回归语言模型的自适应局部关系对齐 预训练 蒸馏

用于自回归语言模型的基于 logits 的 知识蒸馏 通常会在整个词汇表上对齐教师和学生的下一个标记分布。然而，这一全词表目标忽略了可能的词元替代品之间的相对偏好。现有的本地方法通常仅从教师或学生中选择候选标记。仅教师选择可能会错过学生认为可能的标记，而仅学生选择可能依赖于训练早期不准确的排名。我们提出自适应局部关系调整（ALRA），这是一个将学生提案与教师指导相结合的针对特定位置的框架。在每个有效的预测位置，学生提出可能的标记，而教师最可能的标记被包含作为锚点。 ALRA 根据教师在该候选集中相对于当前批次的概率分布范围来调整所选标记的数量。自适应局部发散保留了质量匹配项，并分别匹配所选词汇区域和剩余词汇区域内的相对标记分布。与精确的全词汇分解不同，它用单位系数替换两个条件项的教师概率质量系数，防止任一项仅仅因为其区域的教师概率较低而被降低权重。学生加权成对关系对齐强调具有较小学生概率差距的高概率标记对，并对不太可能或明显分离的标记对给予较小的权重。在 The Pile 上对 9 个零样本基准随机初始化 2 亿和 5 亿参数学生进行的实验产生的平均准确度为 36.62% 和 37.40%。 ALRA 比最强的竞争 蒸馏 基线高出 0.94 和 0.83 个百分点，并且比没有 蒸馏 的 预训练 分别提高 2.31 和 2.91 个百分点。