论文
fMRI-TAMCL：用于基于 fMRI 的脑部疾病分类的文本锚定监督多模态对比学习
fMRI-TAMCL: Text-Anchored Supervised Multimodal Contrastive Learning for fMRI-Based Brain Disorder Classification
摘要
静息态功能磁共振成像对于脑部疾病的分类很重要，但具有高度多模态性，并表现出很强的多部位异质性。现有方法融合了图像、基于 BOLD 的功能连接和表型数据模式。与其他医学成像数据集不同，rs-fMRI 数据集很少包含文本模式，因此它们是从表型数据或 BOLD 激活生成的。这些文本生成方法依赖于对主题、站点、设备和协议的固定假设，导致跨数据集的泛化能力较差。我们提出了 fMRI-TAMCL，一种文本锚定的多模态对比学习框架，集成了 fMRI 图像、稀疏 FC 和生成的特定于主题的文本。其主题自适应阈值推导模块生成粗体激活文本，而特征值序列化模块生成表型文本。所有三种模式都被编码为聚类图，投影到共享单元超球面空间上，使用成对的文本锚定监督对比学习进行对齐，并与注意力融合。 fMRI-TAMCL 证明了其在 5 个数据集上的泛化能力优于 29 个基线，下游分类准确率为 78.6%-86.4%。
