论文

桥接科学遗产:阿拉伯语-俄语平行语料库和 LLM 可持续知识转移基准

Bridging Scientific Heritage: An Arabic--Russian Parallel Corpus and LLM Benchmark for Sustainable Knowledge Transfer

模型评测基准与评测资源

摘要

俄语和阿拉伯语是科学交流的主要语言。语言障碍阻碍了这些社区之间研究成果的交流,从而影响了国际合作和可持续发展相关研究的进展。我们提出了阿拉伯语-俄语科学翻译的基准。该基准包括约 27,000 个句子对的混合平行语料库,由科学摘要和一般领域文本(宗教、新闻、对话)编译而来。我们使用秩 8、16、32 和 64 的 LoRA 微调三种多语言语言模型——mT5-base(580M 参数)、NLLB-200-distilled-1.3B (1.3B) 和 Qwen2.5-7B-Instruct (7B)。带有 QLoRA(秩 8)的 Qwen2.5-7B 模型产生 BLEU 23.15, chrF 43.89、BERTScore 0.906 和 COMET 0.758。这些值比零样本基线高+4.36 BLEU 和+0.051 COMET。使用三个示例进行少量提示并不能提高性能,这表明需要特定于域的 微调。我们发布模型、语料库和评估代码。通过降低科学文本的语言障碍,这项工作使阿拉伯语和俄语研究人员之间能够进行知识交流。它有助于可持续伙伴关系(联合国可持续发展目标 17)和创新基础设施(可持续发展目标 9),与会议对技术驱动的可持续发展的重点相一致。