论文
X2-Turn:用于联合流式 ASR 和转弯状态预测的帧同步双头建模
X2-Turn: Frame-Synchronous Dual-Head Modeling for Joint Streaming ASR and Turn State Prediction
摘要
准确且响应迅速的轮流对于语音对话系统至关重要,它必须实时区分用户中断、应忽略的反向渠道以及话语的完成。先前的模块化方法通常在话语或固定块级别优化转弯状态预测,从而与连续转弯状态估计不匹配,并且通常依赖于辅助 ASR 模型,这限制了响应能力并增加了整体系统的复杂性。因此,我们提出了 X2-Turn,一种通过延迟流建模的帧同步转向状态预测方法。具体来说,在预训练的 Voxtral Realtime 模型的基础上,我们引入了一个帧同步转动状态头,它与共享流表示上的 ASR 头并行操作,在帧级别联合预测 ASR 词元和细粒度转动状态。双语 EasyTurn 和 Full-Duplex-Bench 上的实验表明,该方法实现了转弯状态精度和决策延迟之间的有效权衡。