MIST：基于基因组引导组织学注意力的多模态生存预测

摘要

多模态生存模型可以结合全切片图像与基因组谱中互补的预后信息，但在外部队列偏移与计算复杂度面前，有效融合仍具挑战。为此，我们提出MIST——基于基因组引导组织学注意力的多模态生存预测。MIST将基因组特征表示为token，允许其在生存预测之前查询由基础模型提取的紧凑组织学上下文token。这一设计用组织学上下文充实分子信息，而非仅在最后阶段合并分别编码的模态。训练结合离散时间生存预测、基因组特征掩码、WSI dropout以及配对WSI-基因组对比对齐。在结肠癌、肾癌、肺癌与胶质母细胞瘤队列的四项外部评估中，MIST在主要比较中将外部C-index提升超过标准融合基线。这些结果支持基因组引导的组织学注意力作为多模态肿瘤预后预测的紧凑而有效的策略。代码见该网址。

MIST：基于基因组引导组织学注意力的多模态生存预测：论文配图 — 图 1：MIST 概览。(1 - 上) 基因组特征与 WSI 分别嵌入，基因组 token 经交叉注意力增广为 E^hist。(3 - 下) 从多模态输入序列出发，通过 Transformer 编码器生成 CLS token，用于生存预测。(2 - 中) 仅训练阶段使用：CLS token 与组织学嵌入的对比对齐。实线箭头：训练/推理前向路径。虚线模块：仅训练阶段的操作。