论文

AM2ES:锚点对齐与层次专家选择融合病理基础表征

Anchor-driven Multi-modal Multi-scale Expert Selection for Survival Prediction

摘要

组织病理学全切片图像 (WSI) 和转录组图谱的综合分析为癌症生存预测带来了重大希望。然而,现有方法通常将多模态特征直接投影到共享的 潜空间 中,而没有明确的对齐,导致不匹配的形态线索和分子信号的纠缠。此外,当前的融合策略通常统一处理 WSI 的极端空间异质性,缺乏为个体患者自适应优先考虑临床相关组织尺度的机制。为了解决这些限制,我们提出了一种锚驱动的多模态多尺度专家选择(AM$^2$ES)框架用于生存预测。具体来说,我们提出了一个锚驱动的多模态融合(AMF)模块,该模块引入可学习的语义锚作为跨模态中介,通过强制转录组特征和多尺度病理学表示之间的结构正则化对齐来弥合语义差距。基于这种对齐的语义空间,我们进一步设计了一个分层专家混合(H-MoE)选择模块来解耦分层预后选择过程。 H-MoE 模仿病理学家的诊断工作流程,执行 (i) 尺度内专家过滤,以区别性地识别每个放大倍数内的显着肿瘤区域,以及 (ii) 尺度间层次结构路由,以动态加权并选择信息最丰富的分辨率级别。对多个 TCGA 癌症队列的广泛实验表明,我们的 AM$^2$ES 实现了最先进的性能,同时通过可视化特定分子途径如何驱动跨组织尺度的专家路由决策来提供细粒度的可解释性。代码将在https://github.com/taozh2017/AM2ES.发布

AM2ES:锚点对齐与层次专家选择融合病理基础表征:论文原图
图 1:WSI-Omics 生存分析中多模态融合范式的比较:(a) Early Fusion,在跨模态交互之前连接多尺度病理特征; (b) 分层融合,以固定的级联方式逐层依次融合多尺度特征; (c) 我们提出的 AM2ES 框架,该框架明确地将通过动态锚点的语义对齐与通过 H-MoE 的分层尺度选择解耦。