论文

通过基础模型的跨模态 蒸馏 进行单通道组织分割

Single-Channel Tissue Segmentation via Cross-Modal Distillation from Foundation Models

摘要

多重荧光显微镜通过提供包括核 (DAPI) 和膜 (E-钙粘蛋白) 在内的互补通道来改善组织分割,这些通道共同编码比单独的单通道成像更丰富的空间背景。然而,多路复用模型需要所有通道进行推理,从而限制了只有一个子集可用的部署。这项工作提出了一种跨模式 知识蒸馏 框架,该框架将语义信息从处理多路复用输入的冻结基础模型教师传输到仅在核通道上运行的轻量级学生。 蒸馏 目标结合了基于 MSE 的概率匹配、边界感知监督和可学习的不确定性加权。 SAM ViT-H 和 CellSAM 在 TissueNet 和 BBBC038 上作为四个 U-Net 学生的教师进行评估:Swin-Tiny (27M)、ResNet18 (11M)、EfficientNet-B0 (5.3M) 和 MobileNetV3 (1.5M)。在 TissueNet 上,经过 SAM 蒸馏的 Swin-Tiny 学生获得了 Dice 78.36(正负 1.44),比无 KD 基线(65.31 正负 1.35)提高了 13.05 分,在参数减少 23 倍时,教师预言机性能恢复了 87.9%(89.12 正负 1.21)。 KD 始终将所有四名学生提高了大约 12 个 Dice 点,证实了与架构无关的 蒸馏。作为教师,SAM ViT-H 在所有设置中的表现都优于 CellSAM。 BBBC038 的跨数据集评估显示,无需教师再培训即可获得一致的收益。