使用多模式混合专家病理学基础模型预测免疫生物标志物，增强精准肿瘤学的能力

预测与肿瘤免疫微环境 (TIME) 相关的免疫生物标志物对于推进精准肿瘤学至关重要，但现有方法很大程度上仅限于单一图像模式，并且分辨率不足，补充临床和生物信息的利用不完整。在这里，我们介绍 MixTIME，一种多模态基础模型，它利用专家混合 (MoE) 架构来集成跨不同模态训练的病理学基础模型：仅图像 (UNIv2)、图像文本 (CONCHv1.5) 和图像转录组 (STPath) 表示，用于苏木精和伊红 (HE) 全幻灯片图像的多重免疫荧光 (mIF) 蛋白表达的像素级和幻灯片级预测。 MixTIME 采用可学习的路由器来动态加权专家贡献，并使用分布和趋势感知损失函数进行训练。以两个不同规模的数据集为基准，MixTIME 在 17 个蛋白质标记物上实现了最先进的性能（通过相关性指标衡量）。预测的 mIF 图谱大大增强了下游任务，包括空间域识别、生存预测和由来自世界各地多个机构的专家病理学家验证的人工智能辅助病理报告生成。此外，MixTIME 能够纵向跟踪整个临床时间点的蛋白质表达动态，并揭示与肿瘤微环境中的耐药性和免疫抑制相关的蛋白质基因相互作用模式。总的来说，MixTIME 为计算病理学中的多模式生物标志物发现和临床转化提供了一个可扩展的框架。