现实少样本注释协议下的全幻灯片图像分析

自动分析整个幻灯片图像具有很高的临床价值，因为表征癌症需要对其进行详细检查。此类分析越来越依赖于提供补丁级零样本预测的视觉语言模型。然而，这些预测仍然存在噪音，必须通过一些注释进行完善。这种改进的一个有前途的范例是小样本转导。这些方法不是独立处理每个补丁，而是利用补丁之间的关系以及一些注释来共同完善所有预测。然而，当前的转导方法是在忽略整个幻灯片图像的关键属性的条件下进行评估的：（i）数据集由从多个幻灯片中提取的独立斑块组成，忽略了复杂的组织组织； (ii) 数据集大多是平衡的，而单个整张幻灯片图像表现出严重的类别不平衡，缺少多个类别； (iii)注释是随机采样的，没有反映病理学家如何注释有限数量的区域。为了使转导范例与实际的整个幻灯片设置保持一致，我们介绍了以下贡献。首先，我们提出了 SlideCRF，它通过结合空间和生物线索来适应整个幻灯片图像的条件随机场，同时考虑到给定幻灯片中可能缺少的类。其次，我们提供了一组真实的注释协议，基于空间局部的点击和涂鸦，对不同病理学家的交互进行建模，例如模型错误的迭代校正。在四个数据集中，我们表明 SlideCRF 优于宏 F1 中当前的转导方法，在每个现有类别 1 次和 16 次点击的情况下，分别比零样本预测提高了 24.2% 和 37.5%。