论文

KanAdapter:基于 Kolmogorov-Arnold 网络的即插即用模块,用于基础语音模型的高效 微调

KanAdapter: A Kolmogorov-Arnold Network-based Plug-and-Play Module for Efficient Fine-tuning of Foundation Speech Models

模型训练参数高效训练

摘要

用于下游任务的完全 微调 自监督学习 (SSL) 语音模型在计算上是令人望而却步的,而现有的参数高效 微调 方法主要依赖于基于 MLP 的适配器,其固定激活函数限制了其在紧张的参数预算下的表征表达能力。我们提出 \textbf{KanAdapter},一个轻量级的适配器框架,用 Group-Rational Kolmogorov-Arnold Network (GR-KAN) 模块取代传统的 MLP 瓶颈,以实现更具表现力和参数效率的自适应。按照并行瓶颈设计,KanAdapter 将可训练的 GR-KAN 分支与冻结的 Transformer 编码器块一起插入,并利用来自预训练 MLP 层的权重传输来实现稳定的初始化。在说话人验证、语音情感识别和 Deepfake 检测方面,KanAdapter 相对于完整的 微调 可训练参数减少高达 97.5%,同时保持高度竞争力,并且在可比较的参数预算下始终优于 AdaptFormer。在持续学习中,与完整的 微调 和基于 MLP 的适配器相比,它的错误减少高达 83.6%,我们将其归因于 GR-KAN 理性激活的局部性质,可以减轻灾难性遗忘。据我们所知,这是第一个探索基于 KAN 的模块以实现参数高效的语音基础模型 微调 的工作。