论文
X2-NativeCursor:增量文本流编解码器 TTS 的本机词元文本进度跟踪
X2-NativeCursor: Native-Token Text Progress Tracking for Incremental-Text Streaming Codec TTS
摘要
增量文本流文本转语音 (TTS) 需要在线文本进度跟踪,以实现同步突出显示、中断处理和对话历史记录更新。输入文本在说出之前到达,因此仅文本到达并不能表明语音进度。现有的基于波形的对齐需要完整的音频或在流传输期间添加声学处理。我们提出了 X2-NativeCursor,这是一种轻量级观察器,可以在波形解码之前跟踪本机语音标记的进度,而无需更改 TTS 生成器。其标准化计划将语音标签与其原始文本范围联系起来。文本和本机词元编码器提供估计当前标签位置的本地匹配器。单独的输出规则将可修改的位置估计转换为永不向后移动的光标。对于自动参考,80 毫秒前瞻的平均绝对误差为 0.151 个汉字,而在线波形基线的 320 毫秒前瞻的平均绝对误差为 1.253 个字符。相对于该基线,对齐实时因子也从 0.3598 下降到 0.0180。在第二个自动对准参考下保留较低的跟踪误差。我们在 Qwen3-TTS 上评估 X2-NativeCursor,并通过为每个骨干网训练单独的观察者来验证其对 CosyVoice2 的适应。代码可在 https://github.com/X-Square-Robot/X2Streaming-TTS 上公开获取。