用于低资源语言文本解毒的 Tatoxa 系统：鞑靼语案例

文本解毒，即自动检测和缓解滥用和有害内容，对于确保在线社区的安全和保护用户至关重要。然而，像鞑靼语这样的低资源语言却很少受到研究关注。在本文中，我们介绍了 Tatoxa，一种新颖的、最先进的鞑靼语文本解毒系统。比较实验表明，所提出的方法在关键质量指标上优于现有的开源和专有商业 LLM。我们还引入了一个新的鞑靼语文本解毒数据集，专为 微调 和低资源环境下的评估而设计。最后，跨语言迁移实验表明，即使有大量俄语语料库可用，来自其他语言（包括文化上相近的俄语）的迁移的表现也明显低于本地鞑靼语数据的训练。