论文

不同架构的匹配输入估计在符号上有所不同:审核运动想象上的 EEG 基础模型

Matched-Input Estimates Differ in Sign Across Architectures: Auditing EEG Foundation Models on Motor Imagery

模型评测模型能力评测

摘要

预训练的脑电图基础模型越来越多地被提议作为脑机接口的通用编码器,但最近的基准测试对于它们的表示何时转移到下游任务存在分歧。我们在验证锁定协议下审核运动图像上的 LaBraM 和 CBraMod,其中仅使用训练会话数据确定预处理、架构、优化、冻结深度、检查点、温度和方法选择。在四类 BCI 竞赛 IV-2a 中,此处评估的每个监督比较器都优于每个基础模型配置,包括验证选择的微调。然后我们检查一个关键的混淆:基础模型和特定于任务的解码器通常使用不同的输入管道进行评估。在基础模型消耗的宽带阵列上重新训练三个监督架构会产生跨架构的相反符号的匹配输入精度差异:宽带输入将 ATCNet 精度提高了 0.078,同时将 EEG Conformer 精度降低了 0.088。在 n = 9 处进行多重比较校正后,三个单独的匹配输入项均不显着,因此我们以描述性方式对待符号变化,而不是将其视为正式的体系结构与管道的交互。这些观察到的符号差异表明,单个比较器可能无法提供预训练与监督性能差距的架构不变分解。四类缺陷也不能在运动图像数据集中均匀再现:在两类 BNCI2014-004 上,我们无法检测到微调 CBraMod 和监督比较器之间的相同分离。最后,尽管四级精度大大降低,但经过验证的温度缩放将基础模型校准误差返回到监督范围内。