论文
通过参数聚类实现无需数据与训练的语音基础模型压缩
Towards Data-free and Training-free Compression for Speech Foundation Models Using Parameter Clustering
摘要
研究提出无需数据与训练的语音基础模型压缩，通过k-means进行逐通道参数聚类，并用逐层不同簇数实现细粒度混合稀疏剪枝。在LibriSpeech上，HuBERT-large采用50%剪枝稀疏度时，微调前test-clean与test-other的词错误率比幅值剪枝分别降低27.73和18.61个百分点，相对降低34.37%和21.91%；仅微调3轮后，分别降低0.19和0.79个百分点，相对降低3.36%和4.62%。Whisper-large-v3采用10%稀疏度时，相比幅值剪枝降低2.86和5.02个百分点，相对降低59.21%和55.29%；与未压缩基线相比，没有显著词错误率上升。