PALM：在 LLM 中使用多种基于构造的基本原理对人群偏好进行建模

大语言模型 被广泛用于模拟个人用户行为，但要忠实地代表一个群体，需要捕获区分一个群体与另一个群体的价值观、信仰和文化规范的系统变化。我们引入了人口对齐语言模型（PALM），这是一套与特定人群对齐的模型，涵盖五个国家：美国、印度、巴西、法国和意大利。 PALM 是通过综合基于心理和文化结构的基本原理而创建的，并在针对特定群体的调整进行偏好调整期间将其用作潜在监督。从个性、价值观和信仰、文化规范和道德四个维度进行评估，PALM 始终优于基线，包括文化专业模型，在所有五个人群中相对最佳基线平均提高了 8.59%。值得注意的是，基于建构的基本原理优于人口统计提示和基于调查的 微调，这表明心理学和文化中的基础偏好学习提供了比表面响应分布更丰富的归纳信号。我们进一步证明了在没有特定任务监督的情况下对下游应用程序的强大泛化能力：在个性化奖励模型中优于最佳基线 5.19％，在人口模拟中优于最佳基线 6.34％，并且表现出向社会推理任务的强大转移。数据集和代码可从以下网址获取：https://github.com/limenlp/PALMs。