论文
超越言语的角色：通过强化学习利用音频 大语言模型 中的角色扮演评估
Character Beyond Speech: Leveraging Role-Playing Evaluation in Audio Large Language Models via Reinforcement Learning
摘要
多模态大型模型的快速发展彻底改变了语音对话系统中不同角色的模拟，从而实现了一种新颖的交互范式。角色属性不仅体现在文本响应中，还体现在声音特征中，因为语音传达了丰富的副语言信息，而这些信息难以量化。这给评估角色扮演代理的角色定位带来了很大的困难。为了应对这些挑战，我们提出了 RoleJudge，这是一个评估框架，它利用音频 大语言模型 系统地评估跨多种模式和维度的语音和字符之间的一致性。此外，我们还介绍了 RoleChat，这是第一个富含思想链推理注释的语音角色扮演评估数据集，包含一组不同的真实的和 LLM 生成的语音样本。利用该数据集，我们实现了多阶段训练范例，并将标准对齐纳入强化学习中，以减轻优化过程中的奖励错位。准确性和主观评估方面的实验结果表明，RoleJudge 优于各种基线模型，验证了我们多维评估框架的有效性。