论文

CytoCRF:结合多骨干邻域细化细胞学 VLM 预测

Refining Cytology Predictions with Conditional Random Fields

应用与实践行业应用

摘要

视觉语言模型(VLM)在组织学图像上实现了强大的零样本(ZS)分类,但在细胞学上表现不佳,细胞学的染色和细胞形态与组织学相比明显不同。条件随机场 (CRF) 可以通过跨图像块传播信息来完善噪声 VLM 预测,但现有的 CRF 框架是为组织病理学设计的,不会转移到细胞学数据集,而是作为跨越多个染色协议的独立图像块池发布。我们引入了 CytoCRF,它通过靶向染色质和细胞学特异性染色使成对项适应细胞学,并通过组合多个骨干网络进一步丰富每个势函数项的邻域。在 10 个细胞学数据集中,CytoCRF 在每个注释预算上都优于现有的 CRF 框架,比最佳基线高出 13.6 个百分点,比仅 50 个注释的 ZS 高出 33.7 个百分点。组合来自多个骨干网的信息带来了进一步的收益,这表明邻域拓扑比在其上计算的成对势更重要。

CytoCRF在甲状腺细胞学样例中纠正零样本预测的定性结果。
图1(图注摘要):CytoCRF在甲状腺细胞学样例中纠正零样本预测的定性结果。