训练 Fair 表格基础模型

表格基础模型 (TFM) 已成为表格预测任务的领先方法，利用上下文学习来预测新数据，而无需进行特定于任务的训练。尽管 TFM 在高风险决策中的使用越来越多，但其公平性在很大程度上仍未得到探索。在这项工作中，我们将公平约束直接纳入 TFM 训练中，从而在单次前向传递中实现公平预测。我们的方法解决了两个关键挑战：对训练数据中敏感属性的访问有限，以及现有公平技术与上下文学习范式的不兼容。我们提出了 FairTFM，这是一种基于合成公平任务和使用梯度反转层的公平感知架构的可扩展训练策略，它鼓励模型学习对敏感属性不变的表示。对 132 项公平性任务的实验表明，在保持竞争准确性的同时，公平性得到了持续改善。