论文
仿真顾客从不离开:LLM用户模拟器对照真实购买结果的决策保真度
Simulated Customers Never Walk Away: Decision Fidelity of LLM User Simulators Measured Against Real Purchase Outcomes
摘要
LLM即用户仿真已成为对话AI的核心基础设施:智能体基准(tau-bench)、训练管线与日益增多的保真度研究都依赖LLM扮演对话的人类一方。既有框架以付费参与者扮演指派目标为真值测量沟通保真度——模拟器是否说话像人类。我们论证这有结构性盲点:当目标被指派时——用户的意愿是外生的——因此没有框架能测试模拟器是否像动机内生、潜藏且衰减的真实用户那样决策。我们介绍决策保真度——仿真人群是否复现面对真实、重大选择的真实用户的决策状态动力学——并在独特试验台上测量:2,790段LLM销售智能体与真实客户的生产对话——含793段有经验证的支付结果。使用固定上下文与测量工具的教师强制探针协议——我们发现系统性、与结果相关的失败——我们称之为脱离赤字:模拟器几乎精确复现最终买家(深度偏置+0.09)——但把最终非买家朝购买框架膨胀(深度偏置+0.40;d=0.38,p<0.001)——表达的抗拒减半(25.1%到13.5%)——深思近乎翻倍(21.9%到40.1%)——同时不捏造购买。该赤字跨模型家族复现(DeepSeek:d=0.41,p=0.002)——且抵抗明显的修补:指示模拟器可以脱离把边际偏置削减五倍——但几乎不动结果条件对比(d=0.34,p=0.008)。真实的非买家说“现在不要”然后停止;仿真的非买家问价格。以此类模拟器评估或训练销售与说服智能体——恰在最重要的地方——流失的顾客——夸大漏斗进展。