无需训练 测试时医学图像分割的内存支持协同适应

测试时适应 (TTA) 旨在通过在推理时使用未标记的目标数据调整模型来减轻分布变化。虽然使用视觉语言模型 (VLM) 的 TTA 在分类方面显示出了有希望的结果，但将其扩展到医学图像分割仍然具有挑战性。在这种情况下，优化 VLM 生成的预测所带来的适应收益通常会被噪声、更新驱动的学习导致的 VLM 强预训练特征的退化所抵消，从而导致有限且不稳定的改进。因此，我们提出了内存支持协同适应（MSSA），这是一种用于医学图像分割的新型 无需训练 TTA 框架。在不更新模型参数的情况下，MSSA 动态选择可靠的图像文本预测来构建在线记忆，将它们用作文本引导的语义先验，并将它们与跨图像结构对齐结合起来以实现鲁棒的适应。具体来说，MSSA 包括 (i) 一个噪声感知内存构建模块，用于过滤和稳定跨模态预测；(ii) 一个相关性驱动的原型对齐模块，用于将目标样本与结构一致的内存样本及其可靠的预测对齐，以提高适应性。对多个医学分割基准的大量实验表明，MSSA 持续改进了基于 VLM 的分割模型，并明显优于现有的基于 微调 的 TTA 方法，增益高达 12.2% DSC 和 11.7% mIoU。项目页面：https://lingrayy.github.io/MSSA/。