FreezeEmpath：使用 Frozen LLM 对具有同理心的口语聊天机器人进行高效训练

同理心对于促进口语对话系统中的自然交互至关重要，因为它使机器能够识别人类语音的情绪基调并提供同理心响应。最近的研究在开发基于 大语言模型 (LLM) 的同理心语音聊天机器人方面取得了重大进展。然而，在训练此类模型时仍然存在一些挑战，包括依赖昂贵的移情语音指令数据以及生成的语音缺乏情感表达。使用跨模式移情指令数据微调 LLM 也可能导致灾难性遗忘及其一般能力的下降。为了应对这些挑战，我们提出了 FreezeEmpath，这是一种以简单高效的方式训练的端到端同理心语音聊天机器人。整个训练过程仅依赖于现有的语音指令数据和语音情感识别（SER）数据，同时保持LLM的参数冻结。实验表明，FreezeEmpath 能够生成情感表达的语音，并且在共情对话、SER 和 SpokenQA 任务中优于其他共情模型，证明了我们训练策略的有效性。