论文

MANAS-2:EEG基础模型中的约束重建

MANAS-2: Constrained Reconstruction for EEG Foundation Models

模型训练预训练

摘要

掩码重建被广泛用于EEG基础模型,但仅在低信噪比波形上优化重建并不一定产生最有效的潜在表示。我们提出了MANAS-2,一种新的EEG基础模型,结合了原始带混合(RBH)掩码自编码器与约束重建(ConRec),一种基于物理规律的正则化方法。RBH同时重建时序波形片段和紧凑的频带目标,而ConRec仅作用于时序解码器输出,惩罚重建波形相邻短窗口间RMS能量的差异。ConRec旨在通过引导编码器偏向振荡包络信息的组织结构来塑造编码器。在七个独立的EEG数据集上,将ConRec加入原本相同的RBH模型后,六频带频谱功率的冻结恢复R²从0.860提升至0.906,片段间频带能量动态恢复R²从0.283提升至0.354,同时时序波形信息仍能从冻结潜变量中高度恢复。在仅使用时序掩码自编码器的设置中,ConRec也提升了下游迁移任务的冻结性能和频率依赖的潜变量几何结构,尽管该模型未接收任何频谱目标:即ConRec的效果与架构无关。MANAS-2在大多数下游知识迁移任务上优于现有主流EEG基础模型。从ConRec的效果可以看出,通过解码器施加的基于物理规律的约束能够使潜空间在频谱组织性与迁移能力上更优。因此,MANAS-2围绕受约束重建构建新的脑电基础模型,将其作为塑造表征质量而非仅重建质量的机制。

MANAS-2:EEG基础模型中的约束重建:论文配图
图1:MANAS-2架构。将脑电信号转换为重叠时间块Token并加入时空位置编码,经Transformer编码器处理后执行时域和频域解码;ConRec正则项应用于时域解码器输出。