论文
NSV-Shift：语音到语音模型中非语音发声理解和响应适应的对比基准
NSV-Shift: A Contrastive Benchmark for Non-Speech Vocalization Understanding and Response Adaptation in Speech-to-Speech Models
摘要
我们引入了 NSV-Shift，这是一个对比基准，用于评估语音到语音模型是否可以理解非语音发声 (NSV) 并相应地调整其响应。每对包含两个具有相同词汇内容的对话，仅在最后一轮中嵌入的 NSV 有所不同。我们的试点项目包含 22 个经过人类验证的对（44 种音频条件），并评估了 NSV 感知、情绪理解和响应适应的五个模型。结果表明，模型在检测 NSV 方面的表现通常比在解释其细粒度情感含义或产生适当差异化反应方面表现更好。数据构建管道、数据集和评估管道可在 https://github.com/ChenzwNina/nsv-construction. 上公开获取