论文
QuechuaTok：形态边界精度是粘着性低资源语言中分词器评估的必要指标
QuechuaTok: Morphological Boundary Accuracy as a Necessary Metric for Tokenizer Evaluation in Agglutinative Low-Resource Languages
摘要
标记化是 NLP 流程中的基础步骤，但生育率等标准评估指标无法捕捉粘着语言的形态正确性。我们提出了 QuechuaTok，这是一个系统基准，比较了四种标记化策略（BPE、Unigram LM、WordPiece 和形态感知的 PRPE 标记器），适用于南盖丘亚语 (quz)，南美洲有 8-1000 万人使用一种低资源粘着语言。使用 20 万句语料库和 SQUOIA 有限状态形态分析器（Rios，2016）作为银标准，我们评估三个指标：生育率、OOV 率和形态边界准确性 (MorphAcc)。我们的结果表明，BPE 通过记忆表面单词形式实现了最低的生育率（1.636，16k 词汇），同时仅实现了 6.67% MorphAcc。 PRPE 达到了 83.33% MorphAcc（所有系统中最高的），这表明仅生育率不足以评估粘着语言的分词器。所有代码和模型均可在 kaggle.com/code/macmaky/quechuatok 上公开获取