论文
GC-LoRA：用于参数高效声学自适应的门控卷积 LoRA
GC-LoRA: Gated Convolutional LoRA for Parameter-Efficient Acoustic Adaptation
摘要
基于 Transformer 的语音基础模型在大多数自动语音识别任务中表现出色，但在应用于声学特性不匹配的领域时常常会出现性能下降。虽然参数高效 微调 (PEFT) 方法（例如低秩适应 (LoRA)）可以调整全局注意力，但它们缺乏对于捕获特定领域变化至关重要的局部上下文建模。我们提出了 GC-LoRA，这是一种新颖的适配器架构，它将 Conformer 风格的局部卷积处理注入到预训练的 Transformer 编码器中。通过将轻量级适配器集成到编码器注意力输出投影中，我们的方法可以有效地捕获局部声学依赖性，而不会破坏预先训练的全局表示。跨不同数据集（声学降级、频带限制、方言、儿童）的实验证明了我们方法的有效性，与基线相比，单词错误率 (WER) 降低了高达 10.9%，同时添加了最少的可训练参数。