校准 WEAT 对抗各向异性：ZCA 白化作为嵌入关联测试的几何预处理步骤

我们提出零相位分量分析（ZCA）白化作为词嵌入关联测试（WEAT）的几何预处理步骤。 WEAT 是一种广泛应用于计算社会科学和人工智能公平研究的偏差测量方法。它依赖余弦相似度作为语义关联的度量，假设嵌入空间近似各向同性。然而，之前的工作报告称，许多广泛使用的语言模型并不满足这一假设，引发了人们对偏差测量可靠性的担忧。 ZCA 白化将嵌入空间的协方差变换为单位矩阵，同时最小化对原始向量的扰动。这种转变恢复了 WEAT 所依赖的各向同性条件。我们在十个标准 WEAT 测试套件和跨越三个架构系列的七个模型上评估我们的方法，产生 70 个模型-任务组合。结果表明，ZCA 白化显着降低了所有模型中嵌入空间的各向异性。特别是对于高度各向异性模型，我们进一步观察到标准语义相似性基准的改进，表明校准的空间更好地捕获语义关联。校准后，超过 30% 的 WEAT 结果改变了显着性状态，并且效应大小根据偏差类别在两个方向上发生变化。这些变化表明，未经校准的测量可能会高估和低估嵌入空间中编码的关联。这些发现表明，之前报告的各向异性嵌入空间中的偏差测量应谨慎解释，并且可能受益于使用校准方法的重新评估。我们的方法有助于在计算社会科学和人工智能公平研究中恢复 WEAT 的测量基础。