论文
面向可泛化EEG表示学习的多模态预训练
Multimodal Pretraining for Generalizable EEG Representation Learning
摘要
用于癫痫的脑电图(EEG)模型常局限于特定数据集与任务,这种受限方式使其难以跨数据集或在不同情况下应用。但基础模型与自监督学习的近期研究表明,可适配的EEG骨干可以支持一系列EEG相关任务。本研究开发了多模态EEG基础模型:把基于Mamba架构的原始信号编码器、面向时频数据的ViT式编码器与轻量文本编码器组合进共享嵌入空间。预训练依赖多项创新技术:掩码建模、跨视图对比对齐与时序一致性损失——无需标注数据即可创建丰富的癫痫相关表示。为评估预训练模型的效力与泛化,我们在标准CHB-MIT癫痫检测基准与更多检测数据集上微调,并对不同模型变体做大量实验。在标准CHB-MIT划分上,最佳单模型取得0.874 AUROC、集成变体达0.878——为该基准的最先进表现。除标准训练测试划分外,我们还在既往EEG癫痫建模工作很少报告的留一被试(LOSO)协议下评估——凸显患者无关癫痫检测的困难:19名被试的平均LOSO平衡准确率为0.558。跨数据集与评估设定,该多模态基础模型支持鲁棒的癫痫检测与对新场景的直接适配,并支持可解释的癫痫定位。
