ALBA：评估生成语言和语言维度的欧洲葡萄牙语基准 LLM

随着 大语言模型 (LLM) 扩展到多语言领域，评估其在代表性不足的语言中的表现变得越来越重要。欧洲葡萄牙语（pt-PT）受到的影响尤其严重，因为现有的训练数据和基准主要是巴西葡萄牙语（pt-BR）。为了解决这个问题，我们引入了 ALBA，这是一个从头开始设计的语言基础基准，用于评估 LLM 在 pt-PT 中语言相关任务的熟练程度，涵盖八个语言维度，包括语言多样性、文化约束语义、话语分析、文字游戏、句法、形态学、词汇学以及语音学和音系学。 ALBA 由语言专家手动构建，并与 LLM-as-a-judge 框架配对，用于对 pt-PT 生成的语言进行可扩展评估。对不同模型集的实验揭示了跨语言维度的性能变异性，凸显了对全面的、对多样性敏感的基准的需求，以支持 pt-PT 工具的进一步开发。