通过字节前缀边缘化的交叉分词器 同策略 蒸馏

来自不同家族的开放权重语言模型表现出互补的功能，促使它们通过 同策略 蒸馏 (OPD) 整合为紧凑的学生。然而，全词汇 OPD 通常假设共享标记器，而现有的交叉标记器方法可能会丢弃教师概率质量或将其分配给具有不相关内容的学生标记。我们引入了字节前缀边缘化（BPM），它在共享字节空间中重新表达了教师对学生词汇的下一个词元分布。具体来说，BPM 将每个教师标记的概率分配给最长的学生标记，其字节表示是教师标记字节的前缀，聚合映射到同一学生标记的质量，并将其他不匹配的质量放置在显式残差类别中。这为密集 OPD 生成了词汇完整、字节对齐且保留质量的目标。当相关前缀不跨越多个教师标记（超过 99% 的训练位置满足条件）时，目标准确地恢复教师引发的字节前缀边际，否则使用质量保留、链分解下界。在 Qwen3-32B、GLM-Z1-9B-0414 和 MiniMax-M2.7 作为教师中，BPM 在六个数学和编程基准上始终优于当前的交叉分词器方法，将六个基准 avg@8 比最强基准提高了 3.7-6.6 点。