语言模型碎片整理：基于可解释性的词汇扩展方法

所有语言都是平等的；在词元化方面，不同语言的词元化效率却并不相同。词元是决定访问当代 LLM 的成本和延迟的隐藏货币。然而，许多用非拉丁文字编写的语言的交换率很差：LLM 在许多语言中采用多个标记来编码与英语相同的信息。我们的分析表明，这个被称为“词元过度碎片”的问题在现代开放权重 LLM 中仍然存在。标准补救措施是词汇扩展，添加模型词汇中缺少的目标语言项目。在这项工作中，我们全面研究和推进了基于可解释性的词汇扩展这一新的研究方向。我们关注词汇扩展过程中的两个核心决策：我们应该添加哪些项目？以及我们应该如何初始化它们相应的输入和输出嵌入？首先，我们质疑传统使用基于频率的方法来选择要添加的候选词汇项（这一决定长期以来被视为已解决），并表明基于可解释性的方法提供了卓越的性能与词元效率权衡。接下来，我们通过展示以非拉丁脚本编写的几种语言相对于基线初始化方法的巨大收益（~20 分）来强化基于可解释性的嵌入初始化的案例。我们发现了“子词去标记化”现象，其中模型逐步将碎片化的子词标记跨层合并为更大的子词。基于我们对这一现象的分析，我们提出 FragMend 来进一步推动基于可解释性扩展的效率上限。我们通过与强大的基线进行比较来验证 FragMend 的有效性，并对其设计选择进行了广泛的分析。