论文

人口多元化:多元人类偏好分布的推理时间建模

Demographic Pluralism: Inference-Time Modeling of Pluralistic Human Preference Distributions

模型推理解码与生成控制

摘要

大语言模型 (LLM) 越来越多地用于文化敏感的环境,其中一致性需要代表人群中的不同偏好。然而,现有方法在粗略的人口统计或社区水平上对人口进行建模,并忽略了群体内的差异。我们引入了人口多元化,这是一种推理时间框架,通过在人口统计群体中生成多种观点来估计人口层面的意见分布,而无需意见分布训练数据或特定于任务的微调。在 GlobalOpinionQA 和 VITAL 的四个主干上,它比模块化多元主义减少了 8.4%-26.4% 的 Jensen-Shannon 距离。加权、等权、反权重聚合中,等权综合表现最好;组级误差也随着组权重的增加而增加,这有助于解释加权聚合性能较弱的原因。