几个案例就够了:MedSAM3注释高效LoRA 微调的实证研究
A Few Cases Are All You Need: An Empirical Study of Annotation-Efficient LoRA Fine-Tuning of MedSAM3
摘要
医学图像分割对于治疗计划和疾病评估等临床工作流程至关重要。虽然 TotalSegmentator 和 MRSegmentator 等专业工具具有强大的性能,但它们需要大量带注释的数据集进行训练。医学基础模型通过大规模预训练提供了一种有前途的替代方案,减少了新任务的注释负担,但零样本性能仍然有限。通过低秩适应(LoRA)的参数高效适应可以通过很少的可训练参数实现高效的专业化,但仍然存在一个关键问题:需要多少专家注释的案例才能实现临床上有用的分割性能?我们通过将 MedSAM3 与 LoRA 相结合来解决这个问题,仅使用 1、2、5 和 10 个带注释的病例,并在 AMOS22 数据集上进行评估,在 CT 和 MRI 中对五个腹部器官(肝、肾、脾、胆囊和胰腺)进行调整。只需 10 个案例,模型就可以实现与接受更多数量级数据训练的专业系统相媲美的性能。值得注意的是,这包括可靠的胆囊分割(Dice 0.68 CT、0.59 MRI),而现有工具几乎完全失败(Dice 0.0004),而使用减少 100 倍以上的注释,肝脏、肾脏和脾脏的 MRSegmentator 仍保持在 5--10% 范围内。此外,对整个心脏分割数据集的外部验证表明,该方法可以扩展到心脏分割,这是超出 TotalSegmentator (MRI) 和 MRSegmentator 范围的用例,仅用 10 个带注释的案例即可实现具有竞争力的左心室 (LV) 性能。在单个 GPU 上每个器官的训练仅需 3--5 小时,大约比 nnU-Net 快 2--3 倍。这些发现表明,十个带注释的案例足以进行临床有用的分割,有效减少图像注释和训练时间的瓶颈。