PRISM：用于移情口语对话的韵律集成多智能体推理框架

善解人意的口语对话系统不仅需要语义上适当的响应，还需要情感上一致的韵律表达。然而，级联管道通常在语音到文本转换过程中丢弃声音提示，而端到端语音模型缺乏对情感和知识整合的可解释控制。为了应对这些挑战，我们提出了 PRISM，这是一种用于移情语音对话的多智能体框架，它将语音感知、响应生成和语音合成解耦为协调的组件。 PRISM引入了韵律到语言的翻译机制来稳定大语言模型推理，并能够按需调用外部知识工具来生成同理心对话。实验结果表明，PRISM 在客观和主观指标的同理心、韵律恰当性和文本响应生成质量方面取得了持续改进。我们的代码位于：https://github.com/Bxzfrm/PRISM。