论文

MOOZY:患者至上的计算病理学基础模型

MOOZY: A Patient-First Foundation Model for Computational Pathology

模型训练预训练

摘要

计算病理学需要跨不同临床任务转移的全幻灯片图像(WSI)基础模型,但当前的方法仍然主要以幻灯片为中心,通常依赖于私人数据和昂贵的配对报告监督,并且没有明确模拟同一患者的多个幻灯片之间的关系。我们提出了 MOOZY,一种以患者为先的病理学基础模型,其中患者病例(而不是个体载玻片)是表示的核心单元。 MOOZY 在预训练期间通过案例 Transformer 明确模拟来自同一患者的所有幻灯片的依赖性,将多阶段自我监督与规模化低成本任务监督相结合。在第一阶段,我们使用 masked self-蒸馏 在 77,134 个公共幻灯片特征网格上预训练仅视觉幻灯片编码器。在第二阶段,我们使用案例 Transformer 和对来自 56 个公共数据集的 333 个任务的多任务监督,将这些表示与临床语义对齐,包括跨四个端点的 205 个分类和 128 个生存任务。在 16 个保留任务中,MOOZY 相对于 PRISM 分别将宏加权 F1、平衡精度和宏加权 ROC-AUC 分别提高了 +4.19\%、+7.93\% 和 +6.95\%。 MOOZY 的参数效率也很高,有 85.77M 个参数,比 GigaPath 小 14$\times$。这些结果表明,患者级别的预训练产生可转移的嵌入,为可扩展的患者优先组织病理学基础模型提供了一条途径。