论文
上下文很重要:上下文医学图像分割的支持集选择和故障检测
Context Matters: Support Set Selection and Failure Detection for In-Context Medical Image Segmentation
摘要
上下文学习(ICL)使医学图像分割模型适应看不见的结构和模式,而无需通过以特定于任务的图像掩模样本支持集为条件进行再训练。由于该支持集是模型唯一的特定于任务的信号,因此其组成直接影响分割性能。在这项工作中,我们研究了支持集作为 ICL 可靠性的可控决定因素。首先,我们将随机采样与基于相似性的选择进行比较,其中基于与查询图像的视觉相似性来检索样本。其次,我们训练一个基于 Transformer 的分类器,仅根据查询和支持图像来预测分割是否会低于指定的交并集 (IoU) 阈值。在四个基准和三种成像模式中使用 MultiverSeg 和 DINOv3 嵌入,我们表明基于相似性的选择始终匹配或优于随机采样,在最小的支持集大小下获得最大的增益。此外,我们的分类器在所有四个基准上预测分割失败的可能性都高于机会。最终,这些结果表明,上下文分割的可靠性可以通过知情的支持选择和使用前的预期来提高,从而为更安全的临床部署提供实用的机制。