论文

Instruct-FD:您的全双工语音系统可以遵循轮流指令吗?

Instruct-FD: Can Your Full-Duplex Speech System Follow Turn-Taking Instructions?

模型评测基准与评测资源

摘要

当前的全双工(FD)语音对话系统可以产生流畅的交互,但尚不清楚它们是否可以在明确指示时调整轮流行为。这对于现实世界的部署至关重要,其中对话策略因应用程序而异(例如,主动辅导与被动咨询)。我们引入了 Instruct-FD,这是一种指令条件基准,用于评估 FD 系统中的可控转向管理。为了实现这一点,我们开发了一个经过人工验证、可扩展的合成管道,可生成指令条件对话,以及与部署无关的多轮评估协议和基于 LLM 的判断。对六个最先进的全双工系统进行基准测试揭示了指令遵循转弯管理方面的巨大差距:最好的模型仅实现了 64.4% 的遵守率。不同行为和场景的性能非常不平衡,模型反向通道和中断等主动行为仍然特别具有挑战性。这些发现表明,遵循指令的轮流管理是构建适应性强、可部署的全双工对话系统的关键方向。