基于概念的 H&E 图像基因表达预测解释

病理学基础模型的最新进展使得能够根据常规 H&E 图像准确预测空间转录组学 (ST)。然而，基于视觉 Transformer (ViT) 的模型的现有可解释性方法很大程度上仅限于局部热图，并且没有揭示形态概念如何有助于 ST 预测。在这里，我们引入了一个可解释的框架，该框架结合了相关性传播和概念发现，将转录程序与组织形态联系起来。我们为来自 H&E 图像的虚拟 ST 开发了一个基于 ViT 的框架，该框架将 ViT 感知的逐层相关性传播与基于轻松原型 TopK 稀疏自动编码器的概念发现相结合。这种方法提供了与转录程序相关的形态模式的局部解释和全局见解。我们将该框架应用于 HEST-1k 队列的结直肠癌 ST 数据，并评估其在 TCGA COAD 中的普遍性。我们的架构准确预测临床相关的 ST 特征和伴随的分子表型。测量和预测的基因表达谱揭示了大量样本中结直肠癌亚型 iCMS2 和 iCMS3 的显着空间异质性。空间解析和聚合 iCMS 分类的加权 F1 分数分别为 0.872 和 0.819（TCGA COAD 中为 0.770），并且均对患者结果进行分层。除了预测之外，我们的框架建立了一个基于相关性的概念图集，将分子表型与组织病理学表征联系起来。激活与相关性衍生概念的比较表明，相关性提供了组织形态和下游预测之间更直接的联系。我们建立了基于概念的空间预测解释的通用策略，并且我们的框架很容易适用于广泛的基于 ViT 的病理模型。