论文
一些方言比其他方言更平等：大语言模型中非著名的阿拉伯语方言偏见
Some Dialects Are More Equal Than Others: Non-Prestigious Arabic Dialectal Bias in LLMs
摘要
之前 NLP 中埃及阿拉伯语的工作主要集中在著名的开罗埃及阿拉伯语 (CEA) 方言，导致不太知名的萨伊迪埃及阿拉伯语 (SEA) 方言在大语言模型和资源开发中都缺乏代表性。这种缺乏代表性是否会影响大语言模型对 SEA 可接受性的看法（上游），上游对 SEA 的偏见是否会导致绩效更差（下游）？我们在目标句法评估（TSE）任务中研究了SEA方言特征对LLM偏好的上游影响，该任务揭示了多个LLM对SEA的显着偏见。然后，我们在 MMLU 基准上分析这些相同功能对下游模型性能的影响，并表明模型在使用 SEA 时会出现性能下降。这项工作强调需要进一步探索亚方言变异如何影响语言技术。