ASCAT：阿拉伯语科学语料库和高级翻译评估基准

摘要

我们推出了 ASCAT（高级翻译阿拉伯科学语料库），这是一个高质量的英语-阿拉伯语并行基准语料库，旨在通过系统的多引擎翻译和人工验证管道构建科学翻译评估。与依赖短句或单域文本的现有阿拉伯语-英语语料库不同，ASCAT 的目标是平均 141.7 个单词（英语）和 111.78 个单词（阿拉伯语）的完整科学摘要，来自五个科学领域：物理、数学、计算机科学、量子力学和人工智能。每个摘要均使用三种互补架构生成式 AI (Gemini)、基于 Transformer 的模型 (Hugging Face \texttt{quickmt-en-ar}) 和商业 MT API（Google Translate、DeepL）进行翻译，随后由领域专家在词汇、句法和语义层面进行验证。生成的语料库包含 67,293 个英语标记和 60,026 个阿拉伯语标记，阿拉伯语词汇包含 17,604 个独特单词，反映了该语言的形态丰富性。我们在语料库 GPT-4o-mini (BLEU: 37.07)、Gemini-3.0-Flash-Preview (BLEU: 30.44) 和 Qwen3-235B-A22B (BLEU: 23.68) 上对三个最先进的 LLM 进行了基准测试，展示了其作为评估基准的判别能力。 ASCAT 解决了阿拉伯语科学机器翻译资源的关键缺口，旨在支持对科学翻译质量的严格评估和特定领域翻译模型的训练。