论文
REALM:LFP 建模的回顾性编码器对齐
REALM: Retrospective Encoder Alignment for LFP Modeling
摘要
尖峰活动一直是行为解码的主要神经信号,因为其高时空分辨率支持准确的解码。然而,随着皮质内脑机接口 (iBCI) 向更高的通道数和无线操作方向发展,记录尖峰所需的高采样率产生了巨大的功率和带宽需求。局域场势 (LFP) 具有互补优势,包括更高的长期稳定性、更低的能耗和更低的带宽要求。然而,基于 LFP 的解码器通常精度较低,并且依赖于无法直接用于实时部署的非因果架构。我们提出了 REALM,一个用于因果 LFP 行为解码的回顾性 知识蒸馏 (RKD) 框架。受语音识别中离线到在线 蒸馏 的启发,REALM 将非因果表征知识从预训练的多会话双向 LFP 教师转移到因果学生模型。我们首先使用连续掩码自动编码 (CMAE) 在多个记录会话中对双向 Mamba-2 教师进行预训练,然后使用表示对齐和自动编码的组合目标将其表示提炼为紧凑的因果学生。 REALM 在无标签和微调管道中的比较解码器中实现了最高的平均准确度,在每个基线(包括最先进的 CrossModalDistill)上都有统计上的显着改进。它在整个预训练、蒸馏 和解码过程中单独使用 LFP 来实现这一点,其参数不到 CrossModalDistill 已发布的学生的一半,预训练时间也只有其十分之一。这些结果表明,仅因果 LFP 模型可以实现与非因果多模态模型相媲美的解码精度,为下一代无线和植入式 iBCI 提供实用且可扩展的方法。