MinGram：具有高压缩和竞争形态对齐的极简一元标记生成器

Unigram 分词器使用优雅的表示形式，使得编辑词汇表变得简单，但其训练相对繁重和复杂。我们引入了 MinGram（Minimalist Unigram），它保留了标记列表表示，但使用 BPE 派生的种子词汇、最小标记路径上的 Hard EM 以及单个平坦分数修剪步骤来简化训练。这消除了后缀数组、前向-后向传递和迭代剪枝循环，留下的过程除了分词器推理本身之外几乎不需要什么。通过将标记计数作为主要目标并仅使用 Unigram 分数作为决胜局，MinGram 保持了纯标记计数方法的压缩，同时保留了概率方法的大部分形态对齐和下游质量。在六种语言中，MinGram 的压缩效果比 BPE 和标准 Unigram 都要好，并且面向压缩的变体与最强的标记计数压缩器相匹配，同时保留了更高的形态对齐。在受控下游语言 模型训练 中，Unigram 系列分词器（其中 MinGram 名列前茅）在每字节位数方面始终击败 BPE。