JAL-Turn：全双工语音对话系统中实时鲁棒轮流检测的联合声学语言建模

尽管最近取得了进展，但高效、强大的轮流检测仍然是工业级语音 AI 代理部署中的重大挑战。许多现有系统仅依赖于声音或语义提示，导致准确性和稳定性不佳，而最近尝试赋予 大语言模型 全双工功能需要昂贵的全双工数据，并产生大量的训练和部署开销，限制了实时性能。在本文中，我们提出了 JAL-Turn，一种轻量级且高效的纯语音轮流框架，采用联合声学语言建模范式，其中交叉注意力模块自适应地将预训练的声学表示与语言特征相结合，以支持保持与移动状态的低延迟预测。通过共享冻结的 ASR 编码器，JAL-Turn 使轮流预测能够与语音识别完全并行运行，不会引入额外的端到端延迟或计算开销。此外，我们引入了一个可扩展的数据构建管道，可以从大规模的现实世界对话语料库中自动派生出可靠的轮流标签。对公共多语言基准和内部日本客户服务数据集的大量实验表明，JAL-Turn 在检测准确性方面始终优于最先进的基准，同时保持卓越的实时性能。