论文
ZeroMAG:EEG基础模型的零样本多模态适配器生成
ZeroMAG: Zero-Shot Multimodal Adapter Generation for Plug-and-Play EEG Foundation Models
摘要
EEG基础模型(EFM)从大规模EEG数据捕捉可复用知识,许多录音还含伴随生理信号,提供EEG单模态之外的信息。挑战在于保留预训练知识,同时从无标签目标数据推断适应,将EFM扩展到异构多模态录音。我们提出ZeroMAG,零样本多模态适配器生成框架,使用无标签目标录音扩展冻结EEG编码器和预测头,无需目标标签或目标侧优化。目标数据集完全不参与管线的训练与选择。ZeroMAG围绕配置不变适配器组织伴随模态,从无标签录音与任务上下文构建模态—主体—任务条件,并在从源适配器学习的功能约束潜空间中生成权重。在六个留出目标数据集和三个EFM骨干上,平均平衡准确率比EEG单模态高7.22个百分点、比直接权重回归高4.89点,与监督多模态适应平均仅差0.50点。消融显示,表示学习或条件生成中移除功能监督都会降低生成适配器表现,验证了两者贡献。