论文

构建欧洲多语言评估数据集:EMT 网络内的 MMLU 本地化项目

Building a European Multilingual Evaluation Dataset: The MMLU Localisation Project within the EMT Network

模型评测基准与评测资源

摘要

本文报告了翻译总局 (DGT) 与欧洲翻译硕士 (EMT) 之间的合作,将 MMLU 数据集本地化为 11 种欧洲语言。除了为 LLM 评估创建更具包容性的基准之外,该项目还为硕士生提供翻译、修订、项目管理和多语言协调方面真实的、基于项目的专业训练,同时强调关键的方法、管理和工作流程挑战。