论文

医学图像分割中 SAM3 测试时适应的概念对齐对比和长短提示记忆

Concept Alignment Contrast and Long-Short Prompt Memory for Test-Time Adaptation of SAM3 in Medical Image Segmentation

模型训练持续学习

摘要

像 Segment Anything Model 3 (SAM3) 这样的概念分割模型在自然图像上表现出很强的泛化能力,但由于不同成像原理和风格造成的域差距,它们在医学成像中的性能下降。测试时间适应 (TTA) 对于通过在没有注释的情况下动态更新模型来提高测试性能至关重要。然而,现有的视觉语言TTA方法主要由图像级不确定性最小化驱动,这并不一定反映医学分割中区域级语义的正确性。此外,它们通常缺乏维持连续单遍适应稳定性的机制,导致当分割缺少可靠的密集监督时,性能受到限制。为了解决这些问题,我们提出了针对医学图像的 SAM3 的概念对齐对比度和长短提示记忆测试时间适应 (CM-TTA)。首先,对于具有多个增强的测试样本,我们引入了一种新颖的概念对齐对比度(CAC)指标,该指标利用文本视觉语义一致性来稳健地评估预测质量,以选择最佳的增强视图作为监督。其次,为了平衡快速和稳定的适应,我们设计了长短提示记忆(LSPM)模块。短记忆根据 CAC 分数动态融合最近的提示,以实现敏捷的本地适应,而长记忆则保持稳定的全局提示以生成增强的伪标签。最后,提出了一种密集监督提示更新(DSPU)策略,以增强伪标签作为密集监督来优化提示嵌入。对前列腺和皮肤病变分割的大量实验表明,我们的 CM-TTA 框架显着优于 SAM3 的现有 TTA 方法。代码可在 https://github.com/SherlockZYB/CM-TTA 获取。