借词还是转换？注释边界，而不是模型，驱动哈萨克语-俄语语码转换识别

现成的 LID 和字母启发法将哈萨克语-俄语社交文本过度标记为混合：哈萨克语内部的俄语借词看起来像是在共享西里尔文字下的代码转换。我们发布了一个文档级人工标准LID集，其准则保持哈萨克语的融入语言的借词和小句级语码转换的混合储备，以及在过滤器优先级联中在 LID 之后使用的仅混合情绪池。在共享 LID 测试中，FastText、Lingua、原始和窗口 HeLI、字符三元组 NB 和 XLM-R 的性能从弱到强。这一差距表明瓶颈在于外来词与开关注释边界，而不仅仅是模型类。