当角色属性改善 大语言模型 中的群体对齐时

大语言模型 (LLM) 越来越多地用于预测调查小组中人类参与者的反应。为了实现这一目标，角色提示最近已成为一种通知和调整大型预训练语言模型的技术。角色提示是指在提示中使用“角色”的简短文本描述来引导 LLM 的生成的做法。角色通过不同的属性（例如社会人口统计、态度或行为）描述个体，目的是调整 LLM 以产生与相应人类反应相关的反应。然而，最近的工作产生了混合的、部分相互冲突的人物角色提示结果，没有明确的成功和失败模式。少数一致的发现是，角色属性的选择很重要，使用更多属性并不一定会带来更好的性能。目前尚不清楚不同的属性选择方法如何执行以及如何在它们之间进行选择。在本文中，我们提出观察到的人类对调查问题的反应变化是迄今为止观察到的混合表现的潜在解释。此外，我们还比较了与选择角色属性的不同方法相关的角色提示的性能。我们在两个国家的四项不同（一般）社会调查、六项 LLM 和每项调查的二十个预测任务中评估了这些方法。我们的工作有助于确定角色提示何时可以在调查预测任务中发挥作用，并为使用角色提示进行基于 LLM 的调查预测的不同属性选择方法的有效性提供新的见解。