海地克里奥尔语文化意识：低资源语言评测

大型语言模型 (LLM) 在高资源语言和低资源语言之间表现出巨大的性能差异。除了较低的任务绩效之外，他们往往无法捕捉代表性不足的社区的文化规范和价值观。在这项工作中，我们对海地克里奥尔语大语言模型的文化意识进行了首次系统评估，海地克里奥尔语是一种有数百万人使用的语言，但在数字资源中的代表性严重不足。我们使用由母语人士在文本填充环境中策划的文化显着提示基准，从四个互补维度（特异性、偏见、多样性和变异）评估文化意识。我们的结果揭示了海地克里奥尔语和资源丰富的法语之间的文化意识之间存在明显差距，海地在各个领域的表现更加不平衡，并且更容易受到法语语言干扰的影响。故事的生成进一步揭示了海地人物在苦难和韧性中反复出现的形象，表明即使是积极的人物塑造也可以编码刻板的叙事。我们的代码、基准测试和评估框架是公开的。