实时多方语音代理的自适应轮流

对于基于语音的座席来说，多方语音对话中的轮流仍然是一个基本挑战，特别是在动态的发言权竞争和不同的用户期望下。我们提出了 ModeratorLM，一种角色扮演语音代理，它可以在多方设置中明确分配的角色上调节轮流行为。该系统建立在以分块流方式运行的语音 大语言模型 之上。我们进一步引入了一种推理增强变体，它结合了对对话上下文和指定角色的思想链推理。我们构建了 RolePlayConv，这是一个具有不同助理角色的多方口头对话的大规模综合数据集。对现实世界会议数据和 RolePlayConv 的实验表明，与非角色条件基线相比，轮流精度提高了 40% 以上，召回率提高了 70% 以上，同时大大减少了误报中断。