论文
用单张参考图适配视觉基础模型进行科学图像分割
One-Shot Adaptive Segmentation For Scientific Images
摘要
科学图像分割方法依赖于广泛的注释和特定任务的训练,限制了对成像模式和实验条件的适应。我们提出了一种免训练的一次性框架,该框架使用单个带注释的参考图像来专门研究视觉基础模型。该框架将 DINOv3 表示与背景自适应特征正交化相结合,以抑制与伪影相关的特征方向,然后使用余弦相似度定位 SAM 分割的候选区域。我们评估了红细胞显微镜、结构照明池沸腾和胸部放射成像的框架。相对于最强的基线,所提出的方法在显微镜和池煮数据集上的平均 IoU 分别提高了 5.91% 和 78.62%,同时在胸部 X 光照片上实现了相当的性能。这些结果表明,一次性参考调节可以使通用视觉模型适应专门的科学分割任务。
