沙丘社区
论文

CORTEG：基础模型实现从头皮到颅内脑记录的跨模态表征迁移

CORTEG: Foundation Models Enable Cross-Modality Representation Transfer from Scalp to Intracranial Brain Recordings

Liuyin Yang, Qiang Sun, Bob Van Dyck, Eva Calvo Merino, Marc M. Van Hulle
模型训练监督微调与指令调优

摘要

颅内皮层脑电图（ECoG）为脑机接口提供高信噪比的皮层活动访问，但每位患者数据有限，导致此前大多数工作依赖小型、受试者特异的解码器，忽略了跨患者共享的信息。我们研究大型预训练头皮脑电基础模型（EEG FM）能否适配ECoG，实现跨患者学习与有竞争力的解码性能，同时在单张GPU上用10-30分钟完成对留出患者的校准。我们提出CORTEG，一个跨模态迁移框架，结合预训练EEG FM骨干、电极感知的KNNSoftFourier空间适配器、面向低频与高伽马活动的双流分词器，以及留一受试者微调策略。我们在两个具有挑战性的回归任务上评估CORTEG：公开的手指轨迹回归（n=9）和私有的音频包络回归（n=16）。CORTEG在两个任务上持平或超越最强的任务特定基线：在公开手指基准上达到对比方法中最高的平均相关系数（在n=9名受试者上增益未达统计显著），而在音频任务和低数据量的单患者校准中取得更大且统计显著的增益。特征分析与神经生理学相符，潜在流形捕捉到低维的手指运动结构。CORTEG提供了系统性证据，表明头皮EEG预训练可被重新用于ECoG解码，使数据高效的颅内脑机接口能够适配新患者。

CORTEG：基础模型实现从头皮到颅内脑记录的跨模态表征迁移：论文配图
图 1：CORTEG 概述，用于从头皮 EEG 到 ECoG 的跨模态传输。 (a) 掩蔽自动编码器在 128 Hz 头皮脑电图上进行预训练，学习时间表示和脑电图通道嵌入码本 𝐄εℝM′×D\mathbf{E}\in\mathbb{R}^{M^{\prime}\times D}。 (b) KNNSoftFourier 空间适配器使用软码本插值分支和傅里叶残差分支将特定对象 ECoG 电极坐标 𝐪=(x,y,z)\mathbf{q}=(x,y,z) 映射到预训练的 EEG 通道嵌入空间中。 (c) 原始 ECoG 被分解为低频信号（LFS，1-64 Hz，128 Hz）和高伽玛活动（HGA，70-200 Hz，200 Hz），进行补丁嵌入，与适应的空间嵌入相结合，并通过最终变压器块上带有 LoRA 的预训练 EEG 编码器。 (d) 评估协议包括按受试者训练、联合训练和留一受试者微调 (LOO-FT)。 (e) 下游任务是连续手指轨迹解码和音频包络解码。