论文

OmniEEG-Bench:脑电基础模型的标准化评测基准

OmniEEG-Bench: A Standardized Evaluation Benchmark for EEG Foundation Models

模型评测基准与评测资源

摘要

脑电图(EEG)支持从脑状态监测到人与大语言模型交互的多种脑机接口任务。脑电基础模型正在出现,但数据集差异和任务协议不一致,使评测仍然分散。本文提出 OmniEEG-Bench,为脑电基础模型提供统一基准和下游任务路线图。评测分为六类:信号可靠性、生物识别与疾病、意识与状态、认知与情绪、自然刺激解码,以及运动与交互,并纳入此前脑电基础模型研究尚未系统评测的新任务。 OmniEEG-Bench 通过任务卡规范统一模型部署、任务定义和指标,将 54 个脑电数据集纳入一致的评测协议。作者评测了 10 个代表性脑电基础模型,给出覆盖多种设置的排行榜。预训练数据集的多样性和模型规模都与跨数据集的平均排名改善显著相关,反映出脑电基础模型的规模规律。这表明,扩展脑电基础模型不仅需要更大的架构,也需要覆盖更广、更多样的预训练数据。基准代码:https://github.com/ncclab-sustech/omni-eegbench.git。