论文

SPARK-SAM:学习如何提示和响应红外小目标分割

SPARK-SAM: Learning How to Prompt and Respond for Infrared Small Target Segmentation

模型训练监督微调与指令调优

摘要

提示分割模型提供了可重用的界面,但直接转移到自动红外小目标分割(IRSTD)会暴露空间提示和目标域掩模响应之间的不匹配。在使用从测试参考掩模确定性导出的目标覆盖松散框提示进行诊断时,在 NUAA-SIRST、NUDT-SIRST 和 IRSTD-1K 上,最佳官方 SAM2.1 结果仅为 4.69%、1.64% 和 2.28% IoU。我们引入了 SPARK-SAM(SAM 的响应知识的自提示自适应),它学习目标域响应知识并通过图像条件联合自提示状态来调节解码器。训练将基准模板监督与可靠性意识响应指导结合起来。 SPARK-SAM 通过 0.726M 附加参数实现了 75.78%、86.49% 和 68.34% IoU,在作为自动图像到掩模方法评估的 14 个重新训练的 SAM 变体和自适应方法中的两个基准上排名第一。分阶段的 IRSTD-1K 诊断表明,在预测点获得可靠的目标目标定位之前,响应适应达到了最终 IoU 的大部分。提示监督将预测的提示候选者与目标位置对齐,冻结重量干预措施测量对联合自我提示状态的输出敏感性。匹配的消融显示出所有三个数据集的响应指导和高分辨率提示细化带来的一致的准确性增益。代码可在 https://github.com/Sakauma/SPARK-SAM 获取。