论文
FCN-LLM:通过图级多任务指令微调增强LLM对脑功能连接网络的理解
FCN-LLM: Empower LLM for Brain Functional Connectivity Network Understanding via Graph-level Multi-task Instruction Tuning
摘要
大语言模型在语言理解与推理方面取得显著成功，其多模态扩展使其能够理解图像、视频和音频。受此启发，针对源自静息态fMRI的脑功能连接网络（FCN）的基础模型已在临床任务中展现前景。然而，现有方法未把FCN与文本模态对齐，限制了LLM直接理解FCN的能力。为此，我们提出FCN-LLM，一个通过图级多任务指令微调使LLM理解FCN的框架。我们的方法采用多尺度FCN编码器，捕捉脑区、功能子网络和全脑特征，并将其投影到LLM的语义空间。我们设计了覆盖人口统计学、表型和精神疾病状况共19个受试者特定属性的多范式指令任务。多阶段学习策略先将FCN嵌入与LLM对齐，再联合微调整个模型以捕捉高层语义信息。在一个大规模、多中心FCN数据库上的实验表明，FCN-LLM在未见数据集上取得强零样本泛化，优于传统监督模型与基础模型。这项工作为脑功能网络与LLM的整合引入新范式，为神经科学提供了灵活且可解释的框架。
