通过 Haiku 连接空间生物学和临床组织学

整合分子、形态学和临床数据对于基础和转化生物医学研究至关重要，但联合建模这些模式的系统框架仍然有限。在这里，我们介绍 Haiku，一种基于多重免疫荧光 (mIF) 训练的三模态对比学习模型。它包含来自 1,606 名患者、11 个器官类型的 3,218 个组织切片的 2670 万个空间蛋白质组学斑块，并在共享嵌入空间中匹配匹配的苏木精和曙红 (H&E) 组织学和临床元数据。 Haiku 支持三路跨模态检索，在单模态基线上改进下游分类和临床预测任务，并通过基于临床元数据文本描述的融合检索支持零样本生物标志物推断。在各种任务中，Haiku 的表现优于竞争方法，实现了跨模态检索（Recall@50 高达 0.611 对比接近零的基线）、生存预测（C 指数 0.737，相对改进 +7.91%）和零样本生物标记物推断（52 个生物标记物的平均 Pearson 相关性为 0.718）。此外，我们引入了一个反事实预测框架，其中仅修改临床元数据，同时固定组织形态表面与乳腺癌分期进展和肺癌生存结果相关的利基特异性分子变化。在肺腺癌案例研究中，反事实分析恢复了以 CD8 和颗粒酶 B 增加、PD-L1 减少和 Ki67 减少为特征的生态位特异性转变，与报告的有利结果的模式大致一致。我们将这些反事实结果呈现为探索性的、假设生成的信号，而不是机械的主张。这些功能表明，通过 Haiku 实现的三模态对齐能够实现空间生物学的综合分析，将分子测量与生物探索的临床背景联系起来。