WinoQueer-NL：评估荷兰语语言模型对 LGBTQ+ 身份的偏见

虽然英语语言模型已被广泛研究以消除反酷儿偏见，但荷兰语言模型仍然没有得到充分研究。为了解决这一差距，我们基于英语 WinoQueer 基准开发了一个适应文化和语言的荷兰语数据集，其中包含成对的刻板和反刻板句子。为了验证和扩展它，我们对 43 名荷兰酷儿参与者进行了一项在线调查，确认了 171 种刻板印象中的 145 种与文化相关，并通过自由文本回复确定了 22 种新的偏见。最终发布的数据集包含 42,906 个句子，使用一系列荷兰语特有的多语言模型进行了评估，包括掩码语言模型 (MLM) 和自回归语言模型 (ARLM)，并通过比较刻板句子与反刻板句子的对数似然分数来测量偏差。虽然模型之间的平均偏差分数看起来是中性的（约 50%），但更仔细的分析显示出显着的差异：一些模型在跨性别身份方面有高达 97% 的时间偏向于刻板句子，但在与同性恋相关的群体中只有 6% 的时间偏向于刻板句子，而跨性别和非二元身份始终获得最高的偏差分数。我们的研究结果强调了基于文化的数据集对于评估和减轻对荷兰语模型中的边缘化群体产生不成比例影响的偏见的重要性。