论文
MudawanSn:用于机器翻译的金标准沃洛夫阿拉伯语并行语料库
MudawanSn: A Gold-Standard Wolof-Arabic Parallel Corpus for Machine Translation
摘要
我们推出了 MudawanSn,这是一个黄金标准资源,包含 1,271 个句子对齐对,从沃洛夫语手动翻译成现代标准阿拉伯语 (MSA)。源文本取自 MasakhaNER 语料库,涵盖塞内加尔新闻话语中的政治、社会、宗教和体育。尽管 FLORES-200 和 NTREX 等多语言资源同时包含沃洛夫语和阿拉伯语,但没有专门为沃洛夫语-现代标准阿拉伯语对设计的公开平行语料库。我们描述了语料库构建协议、句子对齐程序和质量控制工作流程。我们对跨越三个架构系列的四个机器翻译系统进行了基准测试:NLLB-200 (600M)、mT5-base 和两个 AfriNLLB 变体,结果表明,MudawanSn 上的微调在两个翻译方向上都产生了显着的改进。性能最佳的模型 AfriNLLB-12 在沃洛夫语到阿拉伯语中实现了 7.76 BLEU 和 30.72 chrF++,在阿拉伯语到沃洛夫语中实现了 8.75 BLEU 和 33.08 chrF++。该语料库根据 CC BY-NC 许可发布,并在 Hugging Face 和 GitHub 上公开提供。