用于零样本和多任务脑信号分析的语言引导多模态基础模型

大脑信号分析对于神经科学研究和临床诊断都至关重要，但目前的方法面临着严重的局限性。端到端模型需要针对特定​​任务的重新训练，并且泛化能力有限，而预训练模型缺乏语义深度，仍然依赖于广泛的微调。与此同时，通用多模态基础模型虽然在其他领域很强大，但由于表征失调和缺乏领域知识而难以解释大脑信号。本研究通过统一的语言信号对齐框架引入了用于零样本和多任务大脑信号分析（METIS）的多模态基础模型。 METIS 在迄今为止最大、最多样化的大脑信号语料库上进行了预训练，其中包含来自 20 个数据集的 11,000 多名受试者的 70,000 多个小时的记录。在对 12 个数据集进行的全面零样本评估中，METIS 的平均准确度比领先的通才模型高出 20.9% 以上。值得注意的是，无需任何微调，METIS 的性能就可以达到或超过有监督的特定任务模型。此外，METIS 展示了卓越的数据效率和强大的泛化能力，在少样本设置中实现了超过 16.0% 的平均 AUROC 优势，在跨数据集传输中实现了 15.9% 的平均 AUROC 优势。这项工作为通用大脑信号分析建立了新的范例，为下一代神经技术铺平了道路。