论文

NVMOS:言语中的非言语发声质量评估

NVMOS: Non-Verbal Vocalization Quality Assessment in Speech

模型评测评测方法与指标

摘要

非语言发声 (NV),例如笑声、叹息和咳嗽,是情感和意图的重要声音线索。现有的语音质量评估方法通常侧重于整体自然度,而非语言 TTS 评估主要考察目标 NV 是否以正确的类型和位置出现。然而,NV 事件本身的感知质量仍未得到充分探索。为了解决这一差距,我们构建了一个 NV-MOS 数据集,其中包含多个 NV-TTS 系统的输出和自然发生的 NV 样本,并根据感知质量等级从三位声学专家收集了评级。我们进一步分析了具有音频功能的多模式 大语言模型(例如 Gemini),发现它们的分数与专家评分之间存在明显的不一致。这些结果表明通用多模态模型不能可靠地取代人类对 NV 质量评估的判断。然后,我们提出了 NVMOS,据我们所知,这是第一个能够可靠预测语音中 NV 事件感知质量的模型。实验结果表明,通过局部NV事件聚焦模块,NVMOS与人类MOS达到专家级或更强的一致性。