论文

SAM3 的参数高效适应快速驱动的手术概念分割

Parameter-Efficient Adaptation of SAM3 for Prompt-Driven Surgical Concept Segmentation

模型训练参数高效训练

摘要

高效的手术分割支持临床诊断、术中监测以及用于重建和模拟的下游机器人管道。尽管像 Segment Anything Model 3 (SAM3) 这样的提示驱动基础模型在自然图像上实现了强大的分割性能,但手术数据与其 预训练 数据表现出域差距,导致分割精度下降。此外,现有的医学SAM方法需要全参数微调,计算消耗大且效率低。为了解决这些限制,这项工作提出了一种用于手术概念分割的 SAM3 参数高效低秩自适应 (LoRA) 自适应。我们将低秩适配器注入到提示编码器、检测器和跟踪器中,同时完全冻结视觉主干,这仅优化了总模型参数的 0.98%,并支持在单个消费级 GPU 上进行训练。综合实验表明,我们的方法始终优于零样本 SAM3 和其他主流基线,并且生成的分割结果可以直接部署以支持下游机器人手术场景重建和物理模拟流程。