论文

语音MOS评估流水线:诊断并LoRA适配音频语言模型

Scalable Audio-LLM System for Speech MOS Evaluation: A Diagnostic Case Study and Adaptation Roadmap

模型评测模型训练参数高效训练评测方法与指标模型能力评测

摘要

企业语音系统的持续部署产生了一个关键的运营瓶颈:评估大批量生产更新中合成语音的声学质量。虽然人类平均主观评分 (MOS) 仍然是质量黄金标准,但它带来了严重的运营成本和周转延迟,使得持续集成变得不可行。在这项工作中,我们提出了一个可扩展、低成本和离线评估管道的系统设计案例研究,能够以较低边际成本对大批量合成语音进行评分。首先,我们在零样本设置中使用 Qwen2-Audio-7B-Instruct 进行细粒度MOS估计,注意到感知盲点和固有偏差。然后,我们分析 SOMOS 数据集并构建一个诊断基准,该基准将与人类自然度评分相关的两个韵律维度转化为可测指标。最后,我们通过参数高效微调(LoRA),使Qwen2-Audio-7B-Instruct适配MOS评估任务,观察到其优于基础模型和UTMOS等常用神经基线,并为企业级语音质量保证建立实用的蓝图。

语音MOS评估流水线:诊断并LoRA适配音频语言模型:论文配图
图1:将基础Audio LLM适配为平均意见分(MOS)预测系统的框架设计。