论文
用于从组织病理学中检索免疫治疗相关分子特征的跨模式对比学习
Cross-Modal Contrastive Learning for the Retrieval of Immunotherapy-Associated Molecular Signatures from Histopathology
摘要
胃腺癌是癌症死亡的主要原因。尽管“炎症/非炎症”亚型已被提出来预测免疫治疗反应，但它们的识别依赖于昂贵的 10 基因 RNA 特征。我们提出了用于跨模态检索的跨模态对比多实例学习（CCMIL）框架，直接从标准苏木精和伊红（H＆E）幻灯片中输入这些分子特征。通过利用监督对比目标，CCMIL 将视觉形态模式与分子表型对齐到共享的潜空间中。这建立了一个可解释的逐例搜索检索引擎，使病理学家能够查询整个幻灯片图像以显示转录组相关的邻居并近似 RNA 特征，而无需在推理时进行基因组测序。我们的结果表明，这种检索优先的方法捕获了肿瘤炎症的连续表型谱，并产生了临床可解释的注意力热图。此外，学习到的表示还支持竞争性下游分类，提供实用的分子预筛选策略。
