SAGE：计算病理学中基于注意力的生存模型的语义可解释性

基于注意力的多实例学习 (ABMIL) 是计算病理学中幻灯片级预测的主要方法，但其注意力图仅提供局部解释：它们指示模型关注的位置，但不指示哪些组织学特征驱动其预测或模型在患者群体中的行为方式。我们提出了语义注意力全局解释（SAGE），这是一个事后框架，可以从冻结的 ABMIL 模型中提取全局的、基于语言的解释。 SAGE 使用病理视觉语言模型，根据 25 个组织学概念的字典对图像块进行评分，根据模型学习到的注意力聚合这些分数，并量化每个概念与队列中预测风险的关系。 SAGE 使用七个 TCGA 癌症队列和三个基础模型应用于生存预测，恢复了既定的预后特征，例如坏死的不利关联，同时揭示了癌症特异性生物学，包括肾细胞癌中与已知分子亚型一致的有利血管生成特征。消融研究表明，这些关联取决于模型的学习注意力，而不仅仅是概念流行度，并且概念词典捕获了由基础模型特征编码的大部分预后信息。通过基于语义的解释，SAGE 提供了一个可扩展的、与模型无关的框架，用于理解 ABMIL 生存模型学习的内容，使病理学家能够在队列水平解释模型行为，并提供生物标志物识别的潜力。