论文

LuMamba:面向电极拓扑不变与高效EEG建模的潜在统一Mamba

LuMamba: Latent Unified Mamba for Electrode Topology-Invariant and Efficient EEG Modeling

模型架构混合架构

摘要

脑电图 (EEG) 能够在临床和神经技术应用中对大脑活动进行无创监测,但由于 \emph{不同的电极拓扑} 和 \emph{计算可扩展性},构建 EEG 基础模型仍然具有挑战性,因为 Transformer 架构会产生二次序列复杂性。作为联合解决方案,我们提出了 \textbf{LuMamba} (\textbf{L}atent \textbf{U}nified \textbf{Mamba}),这是一种将拓扑不变编码与线性复杂性状态空间建模相结合的自监督框架,使用 LUNA 的学习查询交叉注意机制来实现通道统一~\cite{luna},以及 FEMBA 的双向 Mamba 块来实现高效的时间建模~\cite{femba}。在此架构中,我们首次对用于生物信号学习的潜在欧几里得联合嵌入预测架构(LeJEPA)进行了系统研究。 LuMamba 使用来自 TUEG 语料库的超过 21,000 小时的未标记脑电图进行了预训练,并针对 16 至 26 通道电极配置的异常检测、伪影识别和精神状况分类等五项下游任务进行了评估。在预训练目标中,单独的掩模重建会产生结构化但不太通用的表示,而 LeJEPA 单独会产生扩散嵌入;结合这两个目标可实现最稳健的性能。仅用 460 万个参数,LuMamba 在 TUAB 上即可达到 80.99\% 的平衡准确度,并在阿尔茨海默病检测上实现最先进的性能 (0.97 AUPR),同时在同等序列长度下比最先进的模型需要 \textbf{377$\times$ 更少的 FLOPS},并在达到典型 GPU 内存限制之前扩展到 \textbf{12$\times$ 更长的序列}。代码可在 https://github.com/pulp-bio/biofoundation 获取

LuMamba:面向电极拓扑不变与高效EEG建模的潜在统一Mamba:论文配图
图1:LuMamba架构概览,TUAR与APAVA嵌入的t-SNE对比仅重建、重建+LeJEPA与仅LeJEPA策略。