论文
脑电图基础模型微调中跨深度聚合和软路由专家的数据集相关效应
Dataset-Dependent Effects of Cross-Depth Aggregation and Soft-Routed Experts in EEG Foundation Model Fine-Tuning
摘要
脑电图解码任务可以依赖于不同的时间动态和跨通道关系。我们测试专用模块是否通过使用跨深度注意力残差(AttnRes)和两个软路由专家库增强 CBraMod 来改进完全微调的 EEG 基础模型。在 FACED、ISRUC、SEED-V 和 PhysioNet-MI 上的匹配三种子实验中,完整模型相对于完全微调的平均平衡精度分别改变了 -0.12、+1.27、+0.77 和 -1.27 个点。 AttnRes 单独提高了三个数据集的平均平衡准确性,而在 AttnRes 之上添加专家仅有助于 FACED 和 SEED-V。这些增益伴随着巨大的开销:AttnRes 需要 2.11 至 2.88 倍的运行时间和 1.78 至 2.67 倍的内存,而完整的模型需要 2.41 至 3.04 倍的运行时间和 1.86 至 2.85 倍的内存。总体而言,添加的模块会产生依赖于数据集的、有时相反的效果,而不是在完全微调时获得一致的增益。