论文

多维偏好建模中的多维偏差:评估合成代理在联合实验中替代人类参与者的能力

Multi-dimensional Bias in Modeling Multi-dimensional Preferences: Evaluating the Ability of Synthetic Agents to Replace Human Participants in Conjoint Experiments

模型评测模型能力评测

摘要

尽管人们对使用 LLM 来增加稳健性或降低调查实验中的数据收集成本越来越感兴趣,但它们在联合设计(政治学中日益流行的方法)中的功效仍未得到充分探索。本文通过研究合成代理是否可以重现 Conjoint 旨在捕获的多维人类偏好模式来解决这一差距。它复制了已发表的联合研究,并将合成代理生成的结果与原始人类数据沿三个维度进行比较:表征对应、推理对应和程序稳定性。我们的分析评估了选择分布的一致性以及估计的统计和实质性相似性,并且这些维度和重复研究的结果是不均匀的。这意味着综合参与者的有效性应被视为依赖于声明和层次结构。复制数字或获得强符号协议是类似聚合输出的证据,但不足以支持替换人类受访者。我们的结果表明,整个学科必须首先在各个层面上绘制这种创新的边界,然后才能考虑将合成试剂作为人类样本的有力替代品。