TAMISeg：使用语义编码器进行文本对齐的多尺度医学图像分割蒸馏

摘要

由于细粒度注释有限、解剖结构复杂以及噪声、低对比度或照明变化导致的图像质量下降，医学图像分割仍然具有挑战性。我们提出了 TAMISeg，一种文本引导的分割框架，它结合了临床语言提示和语义蒸馏作为辅助语义提示，以增强视觉理解并减少对像素级细粒度注释的依赖。 TAMISeg 集成了三个核心组件：一个经过强扰动预训练的一致性感知编码器，用于稳健的特征提取；一个语义编码器蒸馏模块，由冻结的 DINOv3 教师监督以增强语义辨别力；以及一个尺度自适应解码器，可跨不同空间尺度分割解剖结构。 Kvasir-SEG、MosMedData+ 和 QaTa-COV19 数据集上的实验表明，TAMISeg 在定性和定量评估方面始终优于现有的单模态和多模态方法。代码将在 https://github.com/qczggaoqiang/TAMISeg 上公开发布。