论文

人不只是其国家:解缠欧洲LLM价值对齐的社会决定因素

People Are Not Just Their Countries. Disentangling Social Determinants of LLM Value Alignment Across Europe

模型评测鲁棒性、公平性与可信度评测

摘要

随着大语言模型(LLM)日益成为信息与建议的主要来源,理解其与人类在价值观上的对齐成为紧迫问题。越来越多的文献利用大规模调查来研究LLM与人类所陈述的价值观和观点在多大程度上对齐。除少数例外,所研究的人群都以国家边界或文化界限来界定。然而,这一聚焦忽视了社会人口分化可能对价值对齐差异产生的作用。依托欧洲社会调查(European Social Survey),我们通过考察10个知名商业LLM在15个社会人口变量以及居住国方面所展现的价值对齐来填补这一认知空白。我们的分析揭示,LLM与不同社会人口群体价值观的对齐程度确实不均等,尤其是以教育、收入、职业与宗教界定的群体。在个体层面考察对齐时,仅受访者国家这一个变量所能解释的变异量就与全部社会人口变量集合相当。进一步解缠国家层面与社会人口因素各自的作用后,我们发现二者在解释价值对齐模式上是互补的,其相对权重随所考察的问题子集而变化。

人不只是其国家:解缠欧洲LLM价值对齐的社会决定因素:论文配图
图4:预测个体对齐分数的五种方法在10折交叉验证上的平均测试R²(含标准差)。上方图表显示在𝒬(所有LLM都回答过的问题集合)上的分数;下方图表显示在PVQ问题上的分数。协变量在以下设置间变化:i) 居住国(仅Country);ii) 图1中考虑的所有社会人口学变量(仅SD);iii) 两者结合(Country+SD)。方法在OLS回归(线性)和梯度提升模型(GBM)之间变化。R²按pspwght加权。