沙丘社区
论文

SpecBraM：EEG 基础模型预测频带功率还是波形？

SpecBraM: What Should an EEG Foundation Model Predict? Masked Band-Power Prediction versus Waveform Reconstruction

Peng Xie, Yequan Bie, Jianda Mao, Kani Chen
模型训练预训练

摘要

自监督脑电图模型通常会重建屏蔽波形或预测离散代码。我们研究了一种与任务一致的替代方案：掩蔽频带功率预测（MBP），它预测掩蔽通道时间补丁的固定窄带对数频谱能量。该目标保留与睡眠分期相关的节律功率，同时避免相敏波形重建和学习码本。在三个预训练种子中，我们将带功率和波形目标与匹配的 骨干模型、预训练数据（2,388 小时）和训练步骤进行比较，包括 2x2 按目标分词器设计。在 ISRUC 和 HMC 睡眠分期中，在严格线性 探针 下，MBP 在所有标签上超过原始波形和带波形重建 1.6-2.8 个平衡精度点，在 1% 标签下超过 4.7-7.3 个点；目标效果超过了标记器效果。其冻结特征达到 0.7916/0.7425 平衡精度，而匹配的丰富手工光谱基线则为 0.7636/0.7227，尽管差距约为 1 个百分点（标签数为 1%）。完整的微调达到 0.8107/0.7669。这些成果并不适用于所有带有光谱线索的任务，包括运动想象、抑郁症筛查和警惕性回归。这些结果支持选择预训练目标来匹配与下游标签相关的物理量以及时空尺度。

SpecBraM：EEG 基础模型预测频带功率还是波形？：论文原图
图 1：脑电图借口任务应该预测什么？ LaBraM 从单独训练的矢量量化分词器预测离散代码； CBraMod、CSBrain 和 REVE 重建了掩蔽补丁的原始波形。 SpecBraM 保留屏蔽补丁设置，但更改目标：它对几个固定频带中每个屏蔽补丁的对数频谱能量进行回归。底行显示了过滤器组标记器变体；主要模型使用简单的线性补丁嵌入。在我们的实验中，目标的影响大于标记器的影响（第 6 节）。