论文

NeuroAtlas:临床脑电图和脑机接口的基准基础模型

NeuroAtlas: Benchmarking Foundation Models for Clinical EEG and Brain-Computer Interfaces

模型评测基准与评测资源

摘要

基础模型(FM)承诺提取可泛化下游任务的统一表示。它们已经出现在各个领域,包括脑电图(EEG),但目前还不清楚它们在这个特定领域的有效性。已发表的评估在数据集、可能影响报告结果的脑电图特定预处理以及报告指标方面有所不同,经常掩盖脑电图的临床相关性。我们推出了迄今为止最大的脑电图基准 NeuroAtlas:42 个数据集和 26 万小时,涵盖临床脑电图(癫痫、睡眠医学、大脑年龄估计)和脑机接口,并包括每个任务的多个数据集以及定制的临床评估指标。除了根据监督基线评估 EEG-FM 之外,我们还提供了通用时间序列 FM 的结果。我们报告了三项发现。首先,EEG 特定 FM 的性能并不总是优于时间序列 FM,后者既没有以 EEG 为中心的架构,也没有经过 EEG 预训练。其次,标准的机器学习指标不足以评估临床效用:因此,我们分别彻底评估了更合适的指标,例如事件级决策的质量、催眠图衍生的特征以及癫痫、睡眠和大脑年龄领域的大脑年龄差距。第三,模型排名和性能在领域内可能存在很大差异。我们得出的结论是,预训练模型的性能基本相当,只有少数人具有有限的优势,并且当前模型尚未兑现开箱即用的统一脑电图模型的承诺。 NeuroAtlas 揭示了这一差距,并为下一代统一 EEG FM 提供数据集和指标。