论文

用单张参考图适配视觉基础模型进行科学图像分割

One-Shot Adaptive Segmentation For Scientific Images

模型训练应用与实践参数高效训练科学研究视觉感知与空间理解

摘要

科学图像分割方法依赖于广泛的注释和特定任务的训练,限制了对成像模式和实验条件的适应。我们提出了一种免训练的一次性框架,该框架使用单个带注释的参考图像来专门研究视觉基础模型。该框架将 DINOv3 表示与背景自适应特征正交化相结合,以抑制与伪影相关的特征方向,然后使用余弦相似度定位 SAM 分割的候选区域。我们评估了红细胞显微镜、结构照明池沸腾和胸部放射成像的框架。相对于最强的基线,所提出的方法在显微镜和池煮数据集上的平均 IoU 分别提高了 5.91% 和 78.62%,同时在胸部 X 光照片上实现了相当的性能。这些结果表明,一次性参考调节可以使通用视觉模型适应专门的科学分割任务。

用单张参考图适配视觉基础模型进行科学图像分割:论文原图
图 1:跨科学成像领域的通才到专家的一次性分割。单个带注释的参考定义了每个目标概念,并且相同的冻结 DINOv3-SAM 框架无需特定于任务的培训即可本地化和分段相应的结构。