Qwen-Audio-Agent 技术报告

我们推出了 Qwen-Audio-Agent，这是一种通过前台-后台架构将全双工语音交互与异步任务执行相结合的工具。前端代理管理对话并在直接工具使用和委派之间进行选择，而后端代理在单独的上下文中执行委派的任务。编排运行时维护任务状态，协调用户输入和授权的请求，并安排结果返回到对话。运行时将语音中断与任务取消以及执行完成与结果交付分开，从而允许在委派工作继续进行时继续对话。环境事件和持久记忆在会话内和会话间提供上下文。独立的适配器支持与不同前端模型、后端代理和客户端的集成。我们在桌面辅助、智能座舱和语音客户服务方面实例化了该架构。在 134 个案例的内部驾驶舱基准测试中，混合执行的任务成功率为 91.04%，而直接配置和全委托配置的任务成功率分别为 72.39% 和 80.60%。在对匹配的成功回合进行的单独延迟评估中，混合执行相对于这些基线分别将平均任务执行延迟减少了 26.73% 和 30.91%。这些结果支持对立即操作的直接工具调用和多步骤任务的后端委派的补充使用。