使用基于角色的 LLM 模拟增强假设检验

A/B 测试需要大量样本、较长时间和大量成本。当机器学习模型可以提供实验结果的辅助预测时，不确定的预测质量无法完全取代人类实验，但这些预测仍然可能包含有用的信号。我们提出了一个用于学习增强假设检验的原则框架，该框架利用未知质量的预测来减少样本量，同时保持统计有效性。预测的粒度自然会有所不同，从粗粒度的聚合信号到细粒度的个体水平估计，我们的框架解决了这个范围的两端：（1）对于人口水平的定向预测，只有治疗效果标志上的二元信号可用，我们使用不对称测试并证明学习增强算法范式内的一致性和鲁棒性界限； (2) 对于个体级别的预测，我们引入了广义 PPI++ (GPPI)，扩展了预测驱动推理以通过高维变换处理非线性预测误差。这两种方法都受益于准确的预测，同时对不准确或对抗性的预测保持鲁棒性。我们使用基于角色的 LLM 模拟来验证我们的框架，其中配备用户角色的人工智能代理可以预测个人行为，作为跨越两个粒度级别的自然预测源。对四个真实世界数据集的实验表明，我们的方法与基于角色的预测相结合，可以大大降低实验成本，同时保持严格的统计有效性。