论文

SPERA:具有几何和频率感知潜在预测的球形先验脑电图基础模型

SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction

模型训练模型架构应用与实践Transformer预训练行业应用

摘要

脑电图 (EEG) 提供了持续神经活动的非侵入性测量,但由于受试者、设备和电极蒙太奇的异质性,构建通用脑电图模型仍然具有挑战性。现有的脑电图基础模型主要依赖于根据观察到的信号定义的基于重建的目标,其中包含神经和非神经成分。我们引入了 SPERA(球形先验脑电图表示架构),这是一种采用联合嵌入预测架构(JEPA)在潜在空间中进行预测的脑电图基础模型。 SPERA 引入了勒让德多项式空间先验,将其纳入注意力以编码不同的头皮电极几何形状。另外两个组件使模型适应脑电图:与周期性全注意力块交织的因式分解时间和空间注意力,以及将潜在相似性结构与频谱视图对齐的关系频谱正则化器。 SPERA 对 106 个数据集的 29,048 名受试者进行了约 80,000 小时的脑电图预训练,在 9 个数据集中实现了最高的平均平衡准确度 下游任务涵盖临床、认知和 BCI 应用。 SPERA 在线性探测下进一步表现出强大的参数效率,并在不同的记录条件下表现出鲁棒性,这表明其作为各种脑电图分析的通用骨干的潜力。