人口保真度：评估大语言模型的人口代表性

大语言模型（LLM）在模拟人类态度和偏好方面显示出巨大的潜力。先前的研究发现，大语言模型生成的反应可以压缩人群中发现的态度范围，并以不同模型和主题的方式歪曲特定的子群体。我们引入了人口保真度，这是一个评估框架，用于区分一组大语言模型生成的反应代表人口所需的关键条件。它包含三个维度：组级准确性、组间变异量以及变异的结构。我们通过两种方式展示该框架的实用性。首先，我们重现了之前对大语言模型调查回答中“机器偏差”的研究，并将该框架应用于其模型和最近的模型，表明较差的代表性不仅反映了组间变异不足，而且还反映了分配给错误组的变异。其次，我们评估了一种提出的提高模型群体代表性的方法：文化微调。我们发现，文化微调可以改善与调查中心的一致性，但不会改善人群内部差异的代表性，而总体一致性指标无法捕捉到这一区别。我们认为，代表一个群体需要模型同时再现人类态度变化的多个特征。我们的框架组织了这些功能，并提供可重用的代码、数据和经过训练的模型，用于评估跨实质性领域的总体保真度并评估所提出的对齐方法。