RupeeBias：印度经济建议中的人口属性偏差

个人求助于大型语言模型（LLM）来指导各种经济任务，从比较贷款选择和计划储蓄到决定要求加薪或收取多少服务费用。众所周知，大语言模型会重现社会偏见，而有偏见的经济指导可能会影响用户认为自己的价值、他们的要求以及他们最终接受的东西。这种风险在印度尤为突出，因为印度的经济成果是由种姓和城乡位置等人口类别决定的。然而，现有的大语言模型偏差基准主要是围绕西方人口类别设计的，因此错过了印度背景下经济差距的关键轴。我们引入了 RupeeBias，这是一个用于审核大语言模型在印度经济环境中生成的经济指导中的人口偏见的基准。 RupeeBias 包含 39,150 个提示，涵盖四个用例：薪资估算、薪资增量估算、还价建议和服务定价建议。该基准遵循单属性反事实设计，固定用户资格、经验或服务产品的描述，同时每次改变一个人口统计标识符。 RupeeBias 涵盖了 87 个印度特定的人口识别信息，涉及六个轴：种姓、宗教、地区认同、性别、残疾和城乡位置，所有提示均以英语和印度英语构建。我们评估了 RupeeBias 上的九个大语言模型，发现所有六个轴上存在系统性的人口差异。对于仅在人口统计标识符上有所不同的其他相同提示，LLM 产生的经济产出平均相差 20.2%。我们公开发布 RupeeBias 以支持未来对大语言模型生成的针对印度特定人口和经济背景的经济指导中的人口偏见的研究。