用于A/B测试模拟的数据驱动、角色条件化智能体

A/B 测试是评估产品变更的黄金标准，但每个实验都需要真实的用户流量、工程工作和数周的测量。我们提出了一个模拟框架，该框架使用 LLM 支持的代理来预测 A/B 测试结果，该代理以基于真实用户行为信号的数据驱动角色为条件。与之前依赖合成或基于规则的角色的工作不同，我们的代理是根据匿名行为数据活动模式、参与信号和推断的人口统计数据构建的，从而实现更忠实的人口建模。我们将 A/B 测试模拟构建为结构化问题任务，并系统地研究 (i) 问题设计格式，(ii) 角色数据源和领域对齐的影响，(iii) 每个角色行为深度和群体多样性之间的权衡，以及 (iv) 有效的群体二次抽样。在跨越两种指标类型的 40 个 A/B 测试的基准上，我们的最佳配置根据测试指标实现了 0.75-0.90 的方向精度，这表明数据驱动的角色是实现快速、低成本实验预筛选的可行途径。