论文

用于全双工对话系统的 TurnFSM:内部化用于流式语义语音活动检测和话语级拒绝的状态机逻辑

TurnFSM for Full-Duplex Dialogue System: Internalizing State-Machine Logic for Streaming Semantic Voice Activity Detection and Utterance-Level Rejection

模型训练监督微调与指令调优

摘要

全双工语音助手必须在说话时持续聆听,在低延迟和资源受限的流媒体条件下处理用户中断。现有的端到端全双工模型在语音域自适应后可能会损害推理相关的能力,而级联管道会引入额外的推理开销和手工控制逻辑。我们提出了 TurnFSM,这是一种基于 LLM 的状态预测框架,它将转向控制内部化为显式有限状态转换,统一流语义 VAD 和话语级拒绝。 TurnFSM 将提交和拒绝分解为串行决策过程,减少多任务干扰,同时保持与单任务模型相当的性能。我们进一步引入了一种一阶状态转换机制,该机制在训练期间仅强制依赖于先前的状态,从而能够使用标准因果掩码和原始 LLM 位置编码进行紧凑推理,同时避免历史状态词元积累和不必要的逐步状态生成。实验结果表明,TurnFSM 始终优于二进制头基线,并且与特定任务模型保持竞争力。