论文

EEG-FM-Audit:EEG 基础模型的系统评估和分析流程

EEG-FM-Audit: A Systematic Evaluation and Analysis Pipeline for EEG Foundation Models

模型评测评测方法与指标

摘要

大型脑电图基础模型 (FM) 在解码不同认知任务中的脑电图信号方面表现出了巨大的潜力。然而,现有的 EEG-FM 研究表现出三个关键局限性:不透明的监督基线调整、复杂学习范式的贡献未经验证以及模型决策缺乏透明度。为了解决这些问题,我们提出了 EEG-FM-Audit,这是一个综合评估和分析管道,旨在系统化 EEG-FM 评估。 EEG-FM-Audit 由三个主要组成部分组成:(1) ASHA 驱动的基准测试协议,通过透明地优化监督基线来确保公平比较; (2) 范式水平消融研究,以评估 FM 中学习范式的有效性; (3) 神经生理学探测 (NPP) 框架,探索 FM 是否利用有效的时间、空间和频谱 EEG 特性。我们将 EEG-FM-Audit 应用于三个公共数据集中的四个最先进的 EEG-FM 和五个代表性监督模型。我们的结果表明,尽管需要的参数少得多,但经过适当调整的监督基线可以匹配或优于先进的 FM。此外,我们发现 FM 学习范式的有效性高度依赖于数据集规模和架构。最后,NPP 分析展示了 FM 如何依赖特定的生理特征,为更可解释的神经解码建立框架。