论文
YallaMorph：大语言模型 中评估阿拉伯语形态生成的基准
YallaMorph: A Benchmark for Evaluating Arabic Morphological Generation in Large Language Models
摘要
阿拉伯语形态对于 大语言模型 来说仍然具有挑战性，因为流畅的生成并不能保证准确的形态句法控制。现有的阿拉伯语评估主要针对下游任务，并不直接测试来自显式词汇和基于特征的输入的受控形态生成。我们介绍 YallaMorph，这是一个阿拉伯语形态生成的大型基准，涵盖动词、名词、形容词、它们的附属形式和无效配置。我们在超过 60 万个基准条目的变音和非变音设置下评估了多语言和阿拉伯语 LLM。结果表明，阿拉伯语形态的生成仍然很困难，特别是对于cliticized、看不见的和形态上罕见的形式。