无需训练 病理全切片图像的分布外检测

在医学中安全部署人工智能方法需要强大的护栏来检测输入数据何时偏离训练分布，以确保模型仅在其专业知识范围内提供预测，否则就放弃。分布外 (OOD) 检测可以提供此类保护，并在通用计算机视觉领域得到广泛研究。然而，计算病理学领域仍然不发达，其中十亿像素全玻片图像 (WSI)、疾病亚型之间的细微差异以及组织制备的可变性对传统 OOD 方法构成了独特的挑战。我们提出了 ZIO，一种 无需训练，用于病理学 WSI 的多模态 OOD 检测器，它利用视觉语言病理学基础模型 (FM)。 ZIO 构建分布内类别的文本和视觉原型，并通过原型收缩机制整合其补充信息来得出 OOD 分数。我们为幻灯片级和贴片级 FM 提供 ZIO 配方。我们评估 ZIO 跨多种临床相关领域的转变，包括罕见疾病和近 OOD 环境。对来自五个独立联盟的 14,700 多个 WSI 的广泛评估表明，ZIO 始终优于单峰原型和 40 种最先进的 OOD 方法。这些结果证明了多模态表示对于 OOD 检测的好处，并为临床实践中更安全的人工智能部署铺平了道路。