论文
通过粗粒度边际检查并不难:LLM人格面板中的混合人格与不精确处理效应估计
Passing Coarse Marginal Checks Can Be Cheap: Persona Mixtures and Imprecise Treatment-Response Estimates in an LLM Persona Panel
摘要
大语言模型越来越多地被用作合成研究参与者,通常通过边际回答是否类似人类数据来验证。我们在重复策略博弈中研究固定的16种轻量人格条件化GPT-4.1配置。四个重复博弈单元中,三个满足预注册的宽泛参考条件均值标准;唯一未满足者低于参考下界0.011。变异显著依赖提示索引,但其份额取决于不确定性假设:固定面板的对称Dirichlet敏感性分析,在Jeffreys α=0.5时给出63%—71%的提示间份额中位数,在α=1时为47%—53%;有限机会插件估计则为85%—96%。整体继续概率差异为+0.083与+0.078,保守同时95%区间为[-0.171,+0.330]与[-0.181,+0.330]。处理同时改变继续过程及其文本表述。单独的措辞与位置操作,在基础配置中将合作由0/40改为37/40,标签冲突也显示表述的控制作用。原始人格层面的p13结果没有事先控制比较家族,事后精确门控又在结构上检验力不足,因此p13应作为复现目标而非发现。外部审查揭示家族错误、依赖、构念与边界不确定性缺陷;零调用重新分析改变了解释,却未改写历史记录。不精确估计处理响应对象,也可能通过已注册边际标准。公开复现材料无需实时模型调用即可验证4916次第3—5阶段确认性运行。结果针对固定模型—提示面板,不证明可替代人类参与者。