论文
$μ$Match:EM 中半监督学习和领域适应的基础模型
$μ$Match: Foundation Models for Semi-supervised Learning and Domain Adaptation in EM
摘要
视觉基础模型具有相当先进的计算机视觉,可在零次和少量次设置中实现最先进的性能。它们已成功应用于生物医学成像任务,从计算机断层扫描中的器官分割到光学显微镜中的细胞分割。电子显微镜 (EM) 因其纳米级分辨率而成为分析细胞超微结构的主要方式。然而,迄今为止,基础模型在 EM 中的应用仅限于特定的细胞器,例如线粒体,这很大程度上是由于分割任务的多样性和全面注释数据的缺乏。因此,EM 分割仍然主要依赖于监督学习,需要大量的手动注释并限制超微结构分析。为了解决这一差距,我们提出了 $μ$Match,这是一个利用基础模型的半监督学习和领域适应的框架。我们实施最先进的基于学生-教师的方法,并在具有挑战性的 EM 任务(包括线粒体、细胞核和神经突分割)上评估多个基础模型(SAM、SAM2、$μ$SAM、DINOv2/v3)。我们的结果证明了相对于强大基线的持续改进,并强调了显着减少 EM 中注释工作的途径。