CT 肝脏肿瘤分割基础模型的参数高效微调
Parameter-Efficient Fine-Tuning of Foundation Models for Liver Tumor Segmentation in CT
摘要
我们评估了分段任意模型 (SAM) 的参数有效微调 (PEFT),用于结直肠肝转移瘤腹部 CT 中肝脏肿瘤分割。我们比较了低秩适应 (LoRA)、4 位量化 LoRA (QLoRA)、卷积适配器 (Conv-Adapter) 和我们的定向频谱 Top-K 适配器 (DiSCo),仅训练适配器,同时冻结 SAM 主干。 DiSCo 从行归一化权重的奇异值分解中导出频谱基础,并学习排序门控频谱系数、每个输出幅度偏移和频谱增益,以及推理时可选的 Top-K 排序选择和 0.14 M 可训练参数。我们对五种提示机制进行了基准测试:无提示、单点、多点以及在并集 0.50 和 0.75 上交叉的边界框。 Conv-Adapter 和 LoRA 实现了最高的精度(整体 Dice 0.793 和 0.792;单点 Dice 0.795 和 0.792;95% 豪斯多夫距离 (HD95) 32 mm)。 QLoRA 接近(总体 Dice 0.766;单点 Dice 0.768;HD95 36.41 mm),可训练参数为 0.91 M,延迟为 120 ms,峰值内存为 4.9 GB。 DiSCo 实现了最高的每百万可训练参数 Dice(4.66),整体 Dice 0.653,单点 Dice 0.698,HD95 49.53 mm。这些结果显示了准确性与效率的权衡,并支持 PEFT 进行肝脏肿瘤分割,并且在计算和标记数据有限时降低了适应成本。代码:https://github.com/Ramtin-Mojtahedi/PEFT-SAM-Liver-CT