论文

CAL-MOS:带有适配器的桥接层,可实现跨语音基础模型的稳健 MOS 预测

CAL-MOS: Bridging Layers with Adapters for Robust MOS Prediction Across Speech Foundation Models

模型评测模型能力评测

摘要

语音质量评估 (SQA) 对于现代语音技术至关重要,最近的非侵入式 SQA 预测器越来越依赖语音基础模型 (SFM)。然而,由于 SFM 暴露了来自多个层的表示,因此仍不清楚哪些深度对于 MOS 预测信息最丰富,以及如何跨主干网和数据集可靠地组合多层信息。我们在三种机制下对四个 MOS 数据集上的 10 个 SFM 进行了基准测试:完全微调、使用冻结编码器进行最后一层探测以及朴素的跨层加权聚合。我们发现最好的层强烈依赖于主干网和数据集,并且朴素的加权融合在不同的设置中可能不稳定。我们进一步评估了一种层校准的聚合变体,该变体在池化之前应用每层适配器,这提高了多层融合的鲁棒性,并缩小了完全微调的差距,同时保持骨干网冻结。