论文

SlideTIM:用空间潜在约束细化全切片少样本预测

Exploiting Spatial Structure for Transductive Few-Shot Classification of Whole-Slide Images

应用与实践行业应用

摘要

全切片图像(WSI)的自动化分析是癌症诊断的关键步骤,具有很高的临床价值,因为它可以减少病理学家的工作量,同时提高诊断准确性。最近,视觉语言模型在不需要任何注释的补丁级分类方面表现出了良好的性能,但这些零样本(ZS)预测在细粒度任务上仍然存在噪声,必须进一步细化。一个有希望的方向是联合完善所有预测,即转导方法。然而,大多数现有方法并不适合 WSI。因此,我们提出了 SlideTIM,它是对最近转导方法 LC-TIM 的 WSI 的适应,它引入了组合的空间-潜在正则化器以及补丁类分布的先验。前者强制在空间和语义上接近的补丁接收相同的预测,而先验则校准预测的类比例。它们共同解决了 WSI 复杂的空间组织和严重的类别不平衡问题。在四个组织学数据集上进行评估,SlideTIM 始终优于所有 TIM 变体,在 单样本时将宏平均F1 比最佳竞争基线提高了 +8.1pp。与ZS相比,单样本时宏平均F1提高了+19.4pp。代码将在提交后可用。

SlideTIM与零样本预测及比较方法在两张病理切片上的细化结果。
图1(图注摘要):SlideTIM与零样本预测及比较方法在两张病理切片上的细化结果。