论文

EEG-PRIME:面向EEG解码的原型对齐表示学习与多级条件化

EEG-PRIME: Prototype-Aligned Representation Learning with Multi-Level Conditioning for EEG Decoding

模型训练监督微调与指令调优

摘要

脑电图(EEG)解码模型常因采集协议与个体神经生理的领域偏移,而在跨数据集、跨被试时泛化不佳。我们提出EEG-PRIME,一个面向跨数据集多任务解码的两阶段EEG基础模型。EEG-PRIME将掩码预训练与原型对齐的指令微调相结合,实现跨多种BCI范式的指令感知且被试不变的解码。预训练阶段,EEG编码器通过带频率截断谱增强的掩码重建学习可迁移表示。指令微调阶段,EEG-PRIME融入任务语义、数据集特异性与被试不变三种条件化。所得条件化信号通过逐层查询调制(Layer-wise Query Modulation)作用于Q-Former,同时类别标签的冻结文本嵌入作为原型,支持跨异构标签空间的基于余弦相似度的预测。在覆盖运动想象、情绪识别、ADHD检测、隐蔽语音与脑力负荷的十六个数据集上的实验显示,EEG-PRIME在跨被试设定下持续超越最先进基线与既有EEG基础模型。在两个额外的保留数据集上,EEG-PRIME无需目标域优化、校准或线性探测,即取得与会话内校准模型相当的平衡准确率,展现出有前景的零样本迁移能力。

EEG-PRIME:面向EEG解码的原型对齐表示学习与多级条件化:论文配图
图1:EEG-PRIME 概览及其与现有 EEG 基础模型的比较。左:现有 EEG-FM 依赖任务特定的分类头(例如 MI、情感和工作负载各自独立的头),需要为每个新任务重新训练,无法泛化到未见过的标签空间。右:EEG-PRIME 通过 Q-Former 将多级条件化(任务指令、数据集身份和被试不变性约束)引入 EEG 编码器,并用单一的统一原型分类器替换所有任务特定头,其中类别原型被构建为类别标签字符串的冻结文本嵌入。右上:不同训练轮次下 EEG 试验嵌入的 t-SNE 可视化,展示多级条件化如何逐步将表征组织成良好分离的类别簇。右下:在数据集特定微调下,EEG-PRIME 与既有 EEG 基础模型在全部 16 个下游数据集上的雷达图比较,显示在多样化 BCI 范式上的一致提升。