论文
面向基于 Transformer 的 EEG 基础模型的位置编码策略基准测试
Benchmarking Positional Encoding Strategies for Transformer-Based EEG Foundation Models
摘要
脑电图（EEG）是脑机接口（BCI）应用中广泛使用的无创脑活动测量技术。有监督 EEG 解码模型往往难以在任务、被试与数据集之间泛化，这推动了基于 Transformer、以自监督学习训练的 EEG 基础模型的发展。由于 Transformer 具有置换不变性，它们需要显式的位置信息。与文本 token 不同，EEG 电极在头皮上呈空间分布，这就引出了一个问题上：在基于 Transformer 的 EEG 模型中应如何编码电极位置。在本研究中，我们在 CBraMod 主干内对五种位置编码策略进行基准测试，并在运动想象分类与情绪识别任务上、于线性探测（linear probing）与微调两种协议下进行评估。结果表明，没有任何一种策略能在所有任务上持续领先。球面位置编码（SPE）能为运动想象产生强表示，但在情绪识别上表现欠佳；而非对称条件位置编码（ACPE）则在各任务之间表现更为一致。这些发现表明，最优的位置编码策略取决于具体任务，在 EEG 解码场景中不存在通用方案。
