DistillPath：一种高效的 22M 蒸馏病理学编码器，接近大型基础模型性能

许多高性能病理切片编码器现在都是具有数亿至超过十亿个参数的基础模型。使用此类模型对每个整个幻灯片图像中的数千个图块进行编码和存储在商用硬件上成本高昂，因此保留有用的下游性能的紧凑型编码器是一种有价值的替代方案。我们推出了 DistillPath-KS16，它从现有的 22M kaiko ViT-S/16 编码器开始，并通过从用作冷冻教师的发布的病理学编码器中提炼来改进它。该配方仅读取教师的期末课程和补丁词元，并在 6,000 张公共幻灯片上进行训练，既不需要 DINO 或 iBOT 预训练头，也不需要十亿个瓦片语料库，因此它适用于任何公开骨干词元的已发布编码器。我们将跨越 86M 到 1.1B 参数的四位教师提炼为同一个学生。每个变体都提高了我们使用的所有三个基准（EVA、HEST 和 PLISM）上的 kaiko 基线，并且最强的教师取决于任务。在七任务 EVA 平均值上，DistillPath-KS16-Virchow2 达到 0.795 美元，与我们评估中得分最高的模型 Virchow2 相差 0.015 美元以内，参数少约 29 倍；它在这个综合指标上的得分也高于 H0-mini 和 GPFM，尽管这种优势是任务集中的而不是统一的。由于 DistillPath-KS16 仍然是具有 384 维特征的 22M ViT-S/16，因此其运行速度比 Virchow2 快 25 倍以上。代码可在 https://github.com/RamonKaspar/DistillPath 获取，发布的模型权重可在 https://huggingface.co/collections/RamonK/distillpath 获取。