Multiple-Debias：一种多语言预训练语言模型的全流程去偏方法

多语言预训练语言模型（MPLM）已成为自然语言处理的重要工具。然而，他们经常表现出与性别、种族和宗教等敏感属性相关的偏见。在本文中，我们介绍了一种名为 Multiple-Debias 的综合多语言去偏差方法，以解决跨多种语言的这些问题。通过在预处理和后处理阶段结合多语言反事实数据增强和多语言 Self-Debias，以及参数高效的 微调，我们显着减少了 MPLM 中四种语言的三个敏感属性的偏差。我们还将 CrowS-Pairs 扩展到德语、西班牙语、中文和日语，验证了我们针对性别、种族和宗教偏见的全流程多语言消除偏见方法。我们的实验表明，（i）多语言去偏差方法在有效减轻偏差方面优于单语言方法，（ii）整合来自不同语言的去偏差信息显着提高了 MPLM 的公平性。