LLM 不是灵丹妙药：软件公平性案例研究

公平性是与人类相关的高风险软件系统的关键要求，推动了对偏见缓解的广泛研究。之前的工作主要集中在使用传统机器学习 (ML) 方法的表格数据设置。随着大语言模型（LLM）的迅速崛起，最近的研究已经开始探索它们在相同环境下缓解偏见的用途。然而，目前尚不清楚基于 LLM 的方法是否比传统的 ML 方法具有优势，这使得软件工程师在实际采用时缺乏明确的指导。为了解决这一差距，我们提出了一项大规模研究，比较最先进的 ML 和基于 LLM 的偏差缓解方法。我们发现，基于 ML 的方法在公平性和预测性能方面始终优于基于 LLM 的方法，即使是强大的 LLM 也无法超越既定的 ML 基线。为了理解为什么之前基于 LLM 的研究报告了良好的结果，我们分析了它们的评估设置，并表明这些收益很大程度上是由人为平衡的测试数据驱动的，而不是现实的不平衡分布。我们进一步观察到，现有的基于 LLM 的方法主要依赖于上下文学习，因此无法利用所有可用的训练数据。受此启发，我们在完整的训练集上探索了有监督的 微调，发现虽然它取得了有竞争力的结果，但它相对于传统 ML 方法的优势仍然有限。这些发现表明 LLM 并不是软件公平性的灵丹妙药。