论文
MUSE:通过自我进化配置文件和标题引导对齐进行多域中文用户模拟
MUSE: Multi-Domain Chinese User Simulation via Self-Evolving Profiles and Rubric-Guided Alignment
摘要
用户模拟器对于交互式人工智能系统的可扩展训练和评估至关重要。然而,现有的方法通常依赖于浅层用户分析,难以在长时间交互中保持角色一致性,并且很大程度上仅限于英语或单域设置。我们提出了 MUSE,一个多领域的中国用户模拟框架,旨在生成类人、可控且行为一致的响应。首先,我们提出迭代配置文件自进化(IPSE),它通过比较和推理模拟轨迹与真实对话行为之间的差异来逐步优化用户配置文件。然后,我们应用角色反转监督 微调 来提高局部响应真实性和类人表达。为了实现细粒度的行为对齐,我们进一步训练了一个专门的基于规则的奖励模型,并将其纳入规则引导的多轮强化学习中,从而优化了对话级别的模拟器并增强了长期行为一致性。实验表明,MUSE 在话语级和会话级评估方面始终优于强大的基线,在扩展交互中生成更现实、连贯且角色一致的响应。