LLM-as-a-人口统计：社会人口提示对谁有帮助，对谁有害

大语言模型 (LLM) 越来越多地用作主观任务的判断，其中注释者意见不一，相关问题不仅是判断的准确性如何，而且还在于它再现了谁的判断。社会人口统计学提示使法官根据注释者的人口统计资料进行条件调整，使其判断与相应群体的判断保持一致。我们测试了这种对齐是否按分布出现，在三种条件下将 23 个开放权重 LLM 在三个主观任务上的预测标签分布与真实注释者组的预测标签分布进行比较：没有人口统计信息、单一属性配置文件以及性别、年龄、种族和教育的交叉配置文件。出现了三个发现。首先，没有人口统计数据提示的法官并不是观点中立的：模型最好地再现受过大学教育的白人注释者的判断。其次，人口条件是不对称的：它使法官倾向于多数群体而远离少数群体，最强烈的是攻击性，其中交叉特征放大了伤害。第三，通过比较基础模型和指令模型，我们确定指令调整是不对称的可能来源。因此，在估计群体判断时应谨慎使用人口统计条件：条件使预测偏离了经常调用该方法来服务的少数群体的参考分布。