用于半监督 PET/CT 分割的双基础模型的相互蒸馏

摘要

PET/CT 器官分割对于肿瘤学的定量分析和放射治疗计划至关重要。为了缓解 PET/CT 分割的高注释成本，半监督学习 (SSL) 为开发具有有限标记数据的深度模型提供了实用且有效的解决方案。视觉基础模型的最新发展已经表现出显着的适应性和效率的提高。在这项工作中，我们提出了一个共同的蒸馏框架，该框架无缝地利用结构和功能基础模型，该模型充当从结构 CT 和代谢 PET 成像中提取知识的特定模态通才。通过弥合学生模型的特定任务精度和通才基础模型的分割先验之间的差距，我们提出了 \textbf{MuDuo}，这是一个共同的蒸馏框架，它协同利用用于 CT 的 SAM-Med3D 和用于 PET 的 SegAnyPET，将其知识提炼成轻量级学生网络。我们的方法消除了对手动提示的需要，同时最大限度地利用未标记数据进行自动分割，仅用 5 个标记案例就在 AutoPET 数据集上实现了最先进的性能。我们的源代码可在 https://github.com/Wu-beining/MuDuo 获取。