论文

脑电图基础模型是否可以转化为语音?公开和想象的语音解码的基准

Do EEG Foundation Models Transfer to Speech? A Benchmark on Overt and Imagined Speech Decoding

模型评测模型能力评测

摘要

经过数千小时预训练的脑电图基础模型在运动想象、癫痫检测、睡眠分期和情绪识别方面比特定任务网络表现出了巨大的进步,但它们向语音解码(可以说是最苛刻的非侵入性脑机接口应用)的转移仍然未经测试。我们使用两个语料库,针对语音解码的强卷积基线,提出了脑电图基础模型的第一个系统基准:UGR-MINDVOICE(公开和隐蔽的伊比利亚西班牙语)和 BCI 竞赛 2020 Track 3(想象的语音)。我们在统一预处理和 微调 协议下将两个基础模型(LaBraM、EEGMamba)与三个已建立的基线(EEGNet、ShallowFBCSPNet、EEGConformer)进行比较。大规模脑电图预训练在语音任务上与 16K 参数 CNN 相比并没有产生一致的优势,这表明当前的通用脑电图预训练尚未转移到语音生成和激励特定于语音的基础模型。