论文

为用户模拟器生成不同的角色来测试面试对话系统

Generating Diverse Personas for User Simulators to Test Interview Dialogue Systems

模型评测评测方法与指标

摘要

本文解决了测试采访对话系统所需的大量劳动力的问题。虽然采访对话系统与其他对话系统一样,预计在各种场景中都有用,但与人类用户一起测试它们需要大量的努力和成本。因此,使用用户模拟器进行测试可能是有益的。由于大多数传统的用户模拟器主要是为训练面向任务的对话系统而设计的,因此很少关注模拟用户的角色。在开发过程中,测试访谈对话系统需要模拟广泛的用户行为,但手动创建大量角色是劳动密集型的。我们提出了一种使用 大语言模型 自动生成用户模拟器角色的方法。此外,通过在生成角色时分配与沟通风格相关的个性特征,我们的目标是增加用户模拟器中沟通风格的多样性。实验结果表明,所提出的方法使用户模拟器能够生成具有更大变化的话语。