论文

FiberGeoText:融合LLM解剖文本的脑白质组织表征

FiberGeoText: A Vision-Language Model for Population- Level Organization of Superficial White Matter

应用与实践视觉感知与空间理解

摘要

浅层白质(SWM)是贯穿生命周期认知和脑疾病的重要区域,含有丰富的短程联系纤维,其组织仍未充分刻画,部分原因在于轨迹较短、皮层折叠变化较大,跨个体对应困难。解剖对应的连接在不同个体中可能位于不同空间位置,因此不能仅靠几何邻近定义。我们提出FiberGeoText(FGT),一种视觉语言模型(VLM),将超高分辨率弥散MRI重建的短程SWM纤维流线组织为群体层面的聚类。FGT联合表示每条流线的三维轨迹、皮层解剖上下文和形状。来自多种分区方案的皮层端点信息被表达为文本,并由预训练大型语言模型(LLM)编码,使异构解剖描述可以贡献于共同连续表示。我们在采集的亚毫米0.76 mm弥散MRI数据上评估FGT。相比最先进方法,FGT明显提高皮层分区一致性、簇内形状一致性、聚类规模一致性及跨主体对应。训练后的模型也能较好泛化到未见主体,平均恢复5000个已学习聚类中的96.7%,训练和测试数据的聚类结构高度一致。这些发现说明,VLM学习多模态深层嵌入并融合几何、解剖与形状,可在个体解剖差异下稳健学习群体一致的SWM组织。