论文
ALICE:向视觉、视觉语言和载玻片专家学习通用病理学基础模型
ALICE: Learning a General-Purpose Pathology Foundation Model from Vision, Vision-Language, and Slide-Level Experts
摘要
基础模型正在重塑计算病理学,但它们的能力仍然受到预训练目标、数据源和空间尺度的影响,将互补的专业知识分散在不同的骨干网中。在这里,我们提出了 ALICE,这是一个通过多阶段聚合 蒸馏 训练的统一基础模型,它依次将八个仅视觉、视觉语言和幻灯片级别的教师模型提炼成单个主干的专用模块。 ALICE 经过 24,985,184 个切片级病理图像和 155,604 个高分辨率图像的预训练,并在 21 个任务场景、96 个下游任务和 48 个数据源中进行评估,涵盖感兴趣区域组织分析、视觉语言多模态评估和全幻灯片临床评估。在所有三种评估设置中,ALICE 在任务匹配的病理学基础模型中取得了最佳平均排名。这些结果表明,凝聚的 蒸馏 可以将专业模型的互补功能整合为广泛计算病理学应用的统一主干。该模型可从 https://github.com/WonderLandxD/ALICE 获取。