ZIPBrain：更快、可本地部署且保持精度的EEG基础模型

本工作研究脑电图（EEG）基础模型（EFM）能否在不牺牲精度的前提下变得更快并可本地部署。EEG基础模型是当前的重要趋势，可提供强大的通用表征。然而，其计算负担随输入长度呈二次增长，阻碍了在资源受限场景中的部署，尤其是实时临床监测。EEG的低信噪比进一步表明其中许多token是冗余的，可以在几乎不损失精度的情况下压缩。我们提出ZIPBrain，一种新颖的冗余感知EEG token池化模块，利用这种低信噪比特性来减少token数量。给定一个token序列，ZIPBrain将token划分为冗余组与唯一组，然后将每个冗余token与唯一组中与其最相似的token合并。此外，ZIPBrain是一个免训练、即插即用的模块，能以可忽略的计算开销无缝集成到标准Transformer编码器中。在多个EEG基础模型上的大量实验表明ZIPBrain具有很强的通用性：相比基线平均提升1.3%-10.5%，同时相比原始EEG基础模型将实际推理时间减少32.7%（配合CUDA Graph最高达41.8%）。