论文
为提高效率而修剪,公平支付:修剪后的言语大语言模型中的人口差异
Pruning for Efficiency, Paying in Fairness: Demographic Disparities in Pruned Speech-LLMs
摘要
语音 LLM 的运行成本很高,因此压缩对于实际部署非常重要。然而,压缩模型通常是使用聚合词错误率(WER)来选择的,这可以隐藏修剪对不同人口群体的影响。在这项工作中,我们系统地研究了音频编码器修剪对不同人口群体的 SLAM-ASR 的影响。使用 Fair-Speech 和 Common Voice 数据集,我们发现修剪不会平等地影响所有人口群体;表现最好的群体和表现最差的群体之间的差距成倍扩大。这些差异出现在所有三个编码器尺度上,但只有最大的模型最初将它们隐藏在聚合 WER 后面。 LoRA 适应提高了每个组的 WER,但对已经表现良好的组有更大的好处,并为某些组扩大了范围。在通用语音英语、丹麦语和荷兰语中,口音差距仍然存在,但没有明显扩大,这表明修剪的公平效果因数据集而异,必须直接测量。我们的研究结果表明,对于修剪后的模型,部署决策应包括每组的 WER,并以表现最差的组的错误率作为明确的标准。