粗暴：LLM 德语中的代词保真度、推理和偏见

第三人称单数代词长期以来一直被用来研究语言模型中的刻板偏见，并测试他们推理指称的能力。最近，推理和偏见之间的相互作用已经通过代词保真度任务进行了研究，该任务评估模型正确重用先前指定的话语实体的代词的能力，独立于中间提到的其他可能分散注意力的话语实体。然而，此类研究主要集中在英语，这是一种语法性别有限且几乎没有性别一致性的语言。在本文中，我们贡献了一个新颖的大规模数据集 GRUFF，用于衡量德语中的代词保真度，涵盖名词中的四种不同的性别一致性系统和四组代词。通过此数据集，我们表明 LLM 在缺乏明确上下文的情况下对男性和女性实体表现出很强的语法一致性，但对新代词 xier 和 en 则不然。模型通常对干扰项不稳健，但仅编码器模型在德语中比在英语中更稳健，反映了语法性别的重要性。最后，我们表明，在这种情况下，职业刻板印象在语法情况和大多数模型中的相关性很差，除了那些具有密切相关架构的模型。我们发布所有代码和数据，以鼓励在德语中进一步开展性别包容性语言和参照推理工作。