DuplexWorld：语音代理可以帮助您度过这一天吗？

由于文本对话方式的便捷性，语音到语音 (S2S) 语音代理越来越多地被纳入企业中以提供客户服务，并成为消费者的日常伴侣。然而，现有的基准测试无法沿着真正重要的轴全面评估语音代理，并且被塑造为针对数据库调用的代理工具的测试。我们认为，他们未能充分考虑日常活动引入的对话多样性，并且从未测试代理能够如何忠实地协助完成超出数据库操作范围的任务。为了解决这个问题，DuplexWorld 引入了语音代理特别有用的六个世界：银行、保险、旅行、医疗保健和物流以及寻路。座席在 156 个场景（350 多个小时的对话）中的 11 种不同类型的对话中进行评估，每个场景都不同程度地测试对话和分析能力。通过包括代理、会话和语音自然度指标的广泛评估，我们发现即使是最好的语音代理在所有 3 个轴上也留有很大的改进空间（Pass@1：0.490，轮流：0.653，DNSMOS：3.378）。我们对代理与对话性能、世界和对话类型方面的性能、探索探路对话的探索与利用镜头的故障模式以及所有六个世界的语音代理可靠性进行了广泛的分析。