通过客户数字孪生模拟进行大规模 ChatBot 验证

基于 LLM 的聊天机器人正在改变银行等受监管领域的客户服务，但可扩展且经济高效的验证仍然是安全部署的关键障碍。我们为大规模聊天机器人验证提供了两部分的贡献。首先，我们介绍了一种创建高保真合成客户代理（SCA）作为数字孪生的方法，该方法基于真实的交易和对话数据，能够自动生成和行为调节来模拟不同的客户资料和交互风格。评估表明，SCA 通过可控干预实现了与真实客户的高度语义一致性、低幻觉率以及成功的人格特质再现。其次，我们开发了一个基于 SCA 的验证框架，结合了自动 LLM-as-a-Judge 评估、人类专家测试和对抗性探测。跨情绪状态、人口统计群体和语言因素的基于场景的验证证实了稳健的性能。我们的方法用于验证一家领先的英国银行面向客户的聊天机器人，为金融机构提供了实现监管合规的可扩展途径。