CoCoT-EEG：用于 EEG 解码的对比预训练多尺度卷积 Transformer

自监督预训练基础模型 (FM) 已在非侵入性脑电图 (EEG) 解码应用中显示出早期前景。最近的许多大型模型都集中于对原始脑电图进行标记化，然后进行掩模重建预训练的方法。然而，这种方法已被证明对于数据（如脑电图）而言不是最佳的，因为噪声幅度较高，并且信息仅限于有限的维度（例如窄频带）。基于这一见解，我们开发了一种新颖的对比预训练脑电图模型，具有多尺度时间卷积输入层和 Transformer 编码器块 (CoCoT)。 CoCoT 在具有异构电极配置的广泛基准解码任务上匹配或击败了最先进的重建预训练 EEG 模型。此外，从头开始训练的 CoCoT 优于以前的单任务解码模型，甚至可以与预训练模型相媲美，展示了该架构的灵活性和数据效率。通过系统的消融，包括模型架构和预训练目标，我们展示了对比学习用于构建 EEG FM 的可行性，同时提出了关键的架构设计考虑因素，促进了对替代大规模预训练策略的进一步研究。