S-CEReBrO：打破连续脑电图监测的记忆障碍

基础模型利用大量未标记数据集的通用表示，为脑电图 (EEG) 分析提供了一种有前途的范例。然而，基于 Transformer 的架构面临着一个关键瓶颈：全局注意力机制将注意力记忆状态与信号持续时间耦合起来，导致连续监控期间内存溢出。为了解决这个问题，我们引入了 S-CEReBrO（流式 CEReBrO），这是 CEReBrO 架构的演变，专为连续监控而设计。我们新颖的窗口交替注意力机制将注意力计算分解为固定大小的时空窗口，因此在流式传输下，只有活动窗口保持驻留，并且注意力状态的界限与信号持续时间无关。经验尺度分析表明，窗口交替注意力处理信号的时间比完全自注意力长 100 倍，比低秩线性注意力长 3 倍。与长上下文上的低秩线性注意力相比，窗口交替注意力需要 55% 的内存，同时将推理吞吐量提高了 2.1 倍。 S-CEReBrO 对超过 12,000 名受试者的超过 25,000 小时的录音进行了预训练，在 11 项下游任务中的 7 项上实现了最先进的性能，参数减少了多达 60%。这项工作代表了实现高效、可推广和连续脑电图监测的重要一步。附带的代码存储库可用。附带的代码存储库可用。