ACTD：具有残差正则化的基于锚的交叉分词器 蒸馏

知识蒸馏 有效地将推理能力从 大语言模型 转移到轻量级学生模型。为了实现不同模型系列之间的知识转移，研究人员越来越多地探索交叉标记器 蒸馏。然而，由于词汇和序列未对齐，交叉分词器 蒸馏 仍然具有挑战性，而近似词汇对齐可能会给 蒸馏 带来额外的噪声。为了应对这些挑战，我们提出了具有残差正则化（ACTD）的基于锚的交叉分词器 蒸馏。 ACTD 通过词汇和序列对齐来弥合结构异质性，同时通过具有残差正则化的新型锚损失来减轻对齐噪声。我们进一步将此框架扩展到多教师环境。通过使用三种不同教师模型的五个推理基准进行评估，ACTD 实现了最先进的性能。此外，其多教师扩展优于最强的单教师和多教师基线，进一步证明了我们方法的稳健性。