论文

固定计算预算下 EEG-FM 的参数高效自监督自适应

Parameter-Efficient Self-Supervised Adaptation for EEG-FM under Fixed Computational Budgets

模型训练参数高效训练

摘要

通过自监督学习预训练的脑电图基础模型有望提供可转移的表示,但它们的泛化性仍然有限,特别是在不同的临床数据集上。由于高计算要求,完整的 微调 对于资源有限的临床环境来说是不切实际的。在这项工作中,我们研究了参数高效的自监督适应(仅更新 9% 的参数)是否足以将表示与目标任务对齐。我们在具有不同预训练目标的两种最先进模型上评估我们的方法:BIOT(对比)和 CBraMod(掩蔽重建),并在分布内和分布外条件下评估异常检测(TUAB)、事件分类(TUEV)和癫痫发作检测(CHB-MIT)的三个临床脑电图数据集。 SSL 适应比线性探测产生一致的增益,高达 20 倍 AUCPR。在固定的计算预算下,峰值性能仅需要 20--50% 的可用未标记数据。重要的是,当总窗口计数固定时,性能对于患者计数保持不变,这表明性能仅取决于总体时间窗口多样性。我们的研究结果表明,参数高效的适应能够以最小的计算开销和数据收集负担有效部署脑电图基础模型(EEG-FM)。代码位于:https://github.com/c3n-group/efficient-eeg-adapt