GKnow：衡量性别偏见与实际性别的纠葛

最近的工作分析了神经网络的各个组成部分对性别预测的影响，通常侧重于减轻性别偏见。然而，对性别的机械解释往往（i）专注于非常具体的性别相关任务，例如性别代词预测，或者（ii）无法区分事实上性别化输出的产生（给定带有性别作为语义属性的单词的正确性别假设）和性别偏见输出（基于刻板印象）。为了解决这些问题，我们策划了 \gknow，这是一个评估不同类型的性别相关预测的语言模型中的性别知识和性别偏见的基准。 \gknow 使我们能够识别和分析负责性别预测的电路和单个神经元。我们测试了神经元消融对解开刻板印象和事实性别的基准的影响（DiFair 和 GKnow 测试集）以及 StereoSet。结果表明，性别偏见和实际性别在回路和神经元水平上严重纠缠在一起，这意味着消融是一种不可靠的去偏见方法。此外，我们表明，评估性别偏见的基准可以掩盖伴随神经元消融而导致的实际性别知识的减少。我们策划 GKnow 作为对持续发展稳健的性别偏见基准的贡献。