语音块影响：修剪语音大语言模型的特定组件层评分

在资源有限的环境中部署言语大语言模型的成本很高。层修剪可以降低此成本，但现有的评分指标很难转移到语音 LLM：它们假设具有同质词元序列的仅解码器架构，而语音 LLM 添加编码器和适配器组件并处理多模态序列。我们提出了语音块影响（SBI），这是第一个专为语音 LLM 修剪而设计的层重要性评分框架，由两个特定于组件的分数组成：SBI-Enc 衡量适配器输出处编码器层删除的效果，以更好地反映下游影响； SBI-Dec 测量文本标记位置上的逐层输入输出相似性只是为了避免音频标记占主导地位。在三个语音 LLM 中，SBI 提高了剪枝鲁棒性，通过对文本标记而不是音频主导的完整序列进行评分，以更高的剪枝率提供更强的编码器性能和更可靠的解码器层选择。我们进一步发现，纯文本校准产生的解码器排名与语音文本校准的排名高度相关，这表明有一种更便宜的替代方案来衡量解码器层的重要性。