MambAdapter：基于 Mamba 的轻量级适配器，用于语音和音频中的参数高效迁移学习

微调 基于 Transformer 的基础模型已成为音频和语音处理领域适应的主导策略。为了减少该过程的计算和内存成本，参数高效迁移学习（PETL）方法已被广泛探索。与此同时，Mamba（一种最新的状态空间模型）已成为序列建模中 Transformer 的有前途的替代品。在这项工作中，我们提出了 MambAdapter，一种参数高效的迁移学习方法，它将 Mamba 集成到低秩瓶颈适配器中。我们的设计将跨适配器的参数共享与轻量级 Mamba 模块的注入相结合，从而实现更有效的音频功能建模。我们证明，即使在减少的参数预算下运行，MambAdapter 在四种音频分类任务和五种语音识别语言上也能匹配或优于强大的 PETL 基线。