SALMONN-duo：全双工语音Agent的自适应双系统协调

全双工语音大语言模型 (LLM) 可实现低延迟、自然的语音交互。然而，现实世界的Agent还必须使用工具并执行深思熟虑的推理操作，其可变延迟和计算成本与实时对话的严格计时要求相冲突。为了满足这些需求，我们提出了 SALMONN-duo，这是一种受双过程认知理论启发的自适应双系统语音Agent。 SALMONN-duo 通过将始终在线、快速思考的全双工语音 LLM（系统 1）与强大的异步慢速思考 LLM Agent（系统 2）配对，将实时交互与深思熟虑的计算分​​开。除了处理实时交互之外，系统 1 还学习何时直接回答以及何时委托，在后端执行期间保持响应，并将返回的信息无缝集成到正在进行的对话中，而不会暴露工具痕迹或丢失对话上下文。对单轮口语问答 (QA) 和多轮对话的评估表明，自适应委派大大提高了知识密集型和多跳推理问题的准确性，而知识边界感知训练则避免了不必要的系统 2 调用。在$\tau$-Voice的定制版本上，SALMONN-duo进一步展示了其在现实业务场景中通过多轮交互完成基于环境、策略约束的任务的能力。最后，成本感知强化学习进一步增强了 QA 和对话任务中的任务性能和后端使用之间的权衡，同时提高了 $\tau$-Voice 的任务成功率和响应安全性，并以可接受的委托率增加。