SocioEval：用于评估基础模型中社会经济地位偏差的基于模板的框架

随着 大语言模型 (LLM) 越来越多地为关键领域的决策系统提供支持，理解和减轻其偏见对于负责任的人工智能部署至关重要。尽管针对种族和性别等属性的偏见评估框架已经激增，但社会经济地位偏见尽管在现实世界中具有广泛的影响，但仍然没有得到充分的研究。我们引入了 SocioEval，这是一个基于模板的框架，用于通过决策任务系统地评估基础模型中的社会经济偏差。我们的分层框架包含 8 个主题和 18 个主题，在 6 个类对组合中生成 240 个提示。我们使用严格的三阶段注释协议对 3,120 个响应中的 13 个前沿 LLM 进行了评估，揭示了偏差率的显着变化 (0.42\%-33.75\%)。我们的研究结果表明，不同主题的偏见表现不同，生活方式判断显示偏见比教育相关决策高 10 倍，部署保障措施有效防止明确的歧视，但对特定领域的刻板印象表现出脆弱性。 SocioEval 为审核语言模型中基于类别的偏差提供了可扩展的基础。