论文
超越表面风格:以行为一致性对齐多轮用户模拟器
Beyond Surface Style: Aligning Multi-Turn User Simulators with Behavioral Consistency
摘要
忠实的用户模拟是大规模构建、评估与改进交互式AI的基础。然而,貌似合理的单条回复并不能确保模拟用户再现真实交互中观察到的意图演化与结果。我们提出TRACER,一个显式建模用户演化意图、并学习使模拟行为与真实交互轨迹对齐的多轮用户模拟器。TRACER分两阶段训练:先在真实用户对话上做监督微调,再进行多轮强化学习。RL阶段将结果级与轨迹级的层次奖励与偏差感知的优势调制相结合,共同缓解长对话中的奖励稀疏与信用分配问题。在组织为参照群组的真实客服会话上,TRACER-7B以11.4的转化F1超过最强基线,同时取得最低的群组级转化率误差与语义轨迹距离,并能泛化到分布外场景。人类图灵测试给出接近随机的识别准确率,支持所生成对话的感知自然度。基于该模拟器,我们进一步提出Dynamic Marketing Benchmark,通过模拟交互联合评测LLM的说服效果与回复质量,揭示更高的回复质量并不必然对应更高的转化率。
