论文

超越分类:病理学基础模型作为有丝分裂图的检测编码器

Beyond Classification: Pathology Foundation Models as Detection Encoders for Mitotic Figures

模型评测模型能力评测

摘要

病理学基础模型 (FM) 是在大量通常未标记的数据上进行训练的模型,并且已被证明可以产生可在下游分类任务中有效使用的正则化潜在空间。对于有丝分裂图与其他细胞的分类也是如此。然而,目前还不清楚当前 FM 的潜在空间是否提供了具有区分性和空间适当解析的特征,从而也可以作为密集对象检测范例的骨干。在这项工作中,我们针对常见的当前病理 FM(UNI、UNI2-h、Virchow、Virchow2、H-optimus-0、H-optimus-1)研究了这个问题,并将它们的性能与基于 ResNet50 架构的完全端到端训练的基线进行比较。我们将 FM 主干网与多域 MIDOG++ 数据集上的单级、双级和基于自注意力的检测器(分别为 RetinaNet、Faster R-CNN、Deformable DETR)的代表相结合,并在 TUPAC16 数据集上作为域外案例。我们表明,H-optimus-0 和 Virchow 模型产生了有竞争力的性能,这表明当前 FM 的潜在空间均经过图像级自监督训练,适合直接有丝分裂图检测,并且在我们的域外测试用例上可能稍微更稳健。所有代码均在 https://github.com/DeepMicroscopy/FM4MFdet 上公开提供。