论文
FairLMs:语言模型公平性的交钥匙库
FairLMs: A Turnkey Library for Fairness in Language Models
摘要
语言模型的公平性研究涉及测量偏差、应用缓解方法以及检查评估所依据的证据。现有工具通过不同的接口提供补充功能,因此将它们组合起来需要协调模型接口、证据格式、访问约束和结果类型,然后才能检查适用性或比较方法。我们引入了 \textbf{FairLMs},这是一个 Python 库,它通过显式声明模型功能和输入要求来连接这些活动。它提供 33 个内在和外在指标、涵盖四个干预类别的 14 个缓解组件、14 个数据集和评分工具诊断、用于三种 Transformer 架构的适配器和支持的托管完成 API 以及基准加载器。在执行之前检查声明,结果携带获得它们时的配置,以便可以组合兼容的组件,在通用协议下比较方法,并将工作流程扩展到新的模型和数据集。源代码位于:此 https URL。