用于边缘高效病理学基础模型的多教师对比 蒸馏

计算病理学基础模型 (PFM) 具有先进的全幻灯片图像分析功能。然而，它们的规模和推理成本阻碍了病理科的本地部署。我们提出了 MuCoDi，一种预训练框架，可将多个 PFM 中的冻结图块嵌入提取到紧凑的面向边缘的编码器中。 MuCoDi 不是回归个体教师特征，而是使用改编自 MoCo v3 的对比 蒸馏 目标来训练轻量级 MobileOne 和 RepViT 学生，其中缓存的 Virchow2、UNI2 和 H-Optimus-1 嵌入取代了动量编码器密钥。我们使用仅来自 11.8K WSI 的 14.3M TCGA 图块对学生进行预训练，并在 23 个临床策划的下游分类任务上评估冻结编码器。基于 RepViT 的 MuCoEdge 学生保留了接近教师的表现，同时将模型尺寸缩小了几个数量级：MuCoEdge-R2.3 和 MuCoEdge-R1.5 达到 71.0% 的外部 AUROC，与最佳教师（Virchow2，71.8%）相差 0.8 个百分点，而 MuCoEdge-R2.3 获得了最好的外部 F1 和第二好的 AUPRC（51.8% 和 51.8%）。 53.3%）。 MuCoEdge-R1.0 仅用 640 万个参数和 1.12 GFLOP 就达到了 70.9% AUROC。在 Raspberry Pi 5 上，亚百万参数 MobileOne 学生的单块加速比 Virchow2 提高了 605 倍，同时保留了 66.5% 至 66.9% 的外部 AUROC，这表明 PFM 质量的病理学表示可以转向实际的边缘部署。代码可在 https://anonymous.4open.science/r/mucodi-6243 获取。