论文

大语言模型大大压缩了福利不平等,但在很大程度上保留了其社会经济结构

Large Language Models Substantially Compress Well-Being Inequality but Largely Preserve Its Socioeconomic Structure

模型评测鲁棒性、公平性与可信度评测

摘要

使用大语言模型(LLM)生成合成群体的研究一再表明,模型输出压缩了人类经验的多样性。这引发了人们对LLM生成的数据是否能够捕获人群中有意义的差异的怀疑。我们表明,这种压缩并不一定会消除人类异质性的社会结构。我们利用第七波世界价值观调查中来自 66 个国家和地区的 93,901 名受访者,要求六位LLM根据人口、社会经济和态度概况预测受访者的生活满意度。所有六个模型都大大低估了生活满意度的整体离散度。然而,在将这些规模差异标准化之后,它们在很大程度上再现了福祉不平等中的人类收入梯度:低收入群体仍然比高收入群体相对更加异质。该模式对国家固定效应、平等国家权重、WVS 调查权重和观察到的人口构成具有鲁棒性,并且定向延伸到就业、教育和感知控制。对于极端结果和特定国家梯度,保真度较弱。这些结果表明,LLM保留的异质性数量以及异质性在社会群体中的分布方式是不同的属性。因此,LLM 生成的群体可以大大压缩人类变异,同时保留有关变异集中位置的有意义的信息。