GigaPath-Flash 和 GigaTIME-Flash：用于全玻片和肿瘤微环境分析的高效病理学基础模型

基础模型已成为计算病理学的驱动力，有可能通过从大规模组织病理学数据中学习可转移的表示来改变癌症诊断、预后和治疗选择。病理学基础模型的不断发展现在涵盖了不同的数据源、架构和下游应用程序。然而，大多数预训练模型仅在图像图块级别运行，使用限制性许可，并且计算成本仍然很高，限制了大规模幻灯片级别的临床和研究使用。在这里，我们介绍 GigaPath-Flash 和 GigaTIME-Flash，这是用于全玻片病理学 AI 和空间蛋白质组学预测的高效模型。 GigaPath-Flash 将 22M 参数的 ViT-S 平铺编码器与 21M 参数的 LongNet 滑动编码器相结合，两者都经过大规模真实世界组织病理学数据的预训练。其紧凑的瓦片编码器是从十亿参数 GigaPath (ViT-g) 老师中提炼出来的，并由两个模型共享。 GigaPath-Flash 保留了 GigaPath 97% 的平均幻灯片级性能，同时计算量减少了 50 倍。 GigaTIME-Flash 扩展了这一主干，可以直接从常规 H&E 图像预测肿瘤免疫微环境。它在预测质量上超越了原始的基于 CNN 的 GigaTIME，同时运行速度提高了 6 倍，GPU 内存使用量减少了 8 倍。这些模型与 GigaPath 和 GigaTIME 一起形成了一个开放权重、Apache-2.0 许可的系列，并根据大规模真实临床数据进行了预训练。通过发布所有模型和权重，我们为计算病理学、免疫肿瘤学和精准健康提供了可访问的构建模块。