干预的幻觉：您的 LLM 模拟实验是一项观察性研究

大语言模型 (LLM) 显示出作为人类行为模拟器的潜力，提供了一种可扩展的方法来研究干预措施的反应。然而，由于 LLM 主要是根据观察数据进行训练的，因此对 LLM 模拟的合成用户的实验进行干预可能会引起潜在用户属性的意外变化，从而导致用户漂移，其中隐式模拟群体因治疗条件而异，可能会扭曲效果估计。我们形式化了由于用户漂移而可能出现的混杂或选择偏差，并展示了依赖于干预的转变如何放大或减弱干预下观察到的用户反应的差异。为了诊断混杂因素，我们建议使用阴性控制结果（在干预下应保持不变的属性）来识别干预条件下的分布变化，提供用户漂移的证据。为了减轻漂移，我们研究通过引发额外的混杂因素来调整角色规范，发现有针对性的、与环境相关的混杂因素可以大大减少调查式和多轮代理评估中的偏差。