论文

人格模拟何时具信息量:用于多元意见感知的图结构信号

When Persona Simulations Are Informative: Graph-Structured Signals for Pluralistic Opinion Sensing

模型评测评测方法与指标

摘要

以人格为条件的大语言模型(LLM)正日益被用于跨多个领域模拟调查响应。然而,表面上的响应差异可能反映的是未受条件约束的模型先验或词元采样噪声,而非系统性的人格条件化。我们主张:当语义相似的人格表现出一致的响应偏移时,人格条件化带来的差异才是有信息量的。为将这一原则可操作化,我们提出PCI(Persona-Conditioned Informativeness),一种无监督诊断指标,测量语义相似的人格相对于条目级样本基线是否朝一致方向偏离。通过把人格建模为相似性图,PCI使用局部莫兰指数(Local Moran's I)量化局部空间一致性,并在不使用构念标签的情况下提取紧凑的人格子集。为了在没有外部人类基准的情况下评估PCI,我们检验其恢复既定潜在价值结构的能力,使用57条目的肖像价值观问卷修订版(PVQ-RR)。验证性因子分析(CFA)显示,经PCI选择的10%子集相比响应稳定性选择与随机选择,显著改善了整体构念恢复。这些发现支持PCI作为调查流程中筛选合成受访者的有原则的内部诊断工具。