论文
iBrain:从表面信号到神经脉冲的统一脑基础模型
iBrain: A Unified Foundation Model Reading the Brain from Surface to Spikes
摘要
侵入性神经记录可提供大脑活动的高保真测量,并通过颅内脑电图 (iEEG) 和皮质内尖峰活动等信号捕获不同空间和时间尺度的神经动态。然而,现有的神经基础模型很大程度上是针对不同的侵入性记录范例独立开发的,因此跨异构侵入性信号的联合预训练尚未得到充分探索。在这项工作中,我们介绍了 iBrain,这是一个统一的基础模型,可以从 iEEG 和尖峰活动中联合学习。 iBrain 采用信号特定的编码器来适应其独特的信号特征,并采用共享的时空 Transformer 主干来对记录通道和时间之间的依赖关系进行建模。我们使用掩蔽信号重建和通道视图对齐对超过 7,000 小时的异构神经记录进行预训练,促进神经动力学的上下文建模和跨不同通道的鲁棒性。 iBrain 始终优于单信号预训练基线,并在多个基准上实现了最先进的性能。进一步的实验表明,iBrain 在不同的记录设置中表现出可转移性和数据效率。这些结果凸显了对异构侵入性神经记录进行联合预训练的潜力,以支持跨记录设置和下游任务的可扩展神经建模和可转移表示。