论文

掩模到概念:通过有效的测试时概念嵌入搜索来自动提示 SAM3 以进行少量注释

Mask to Concept: Auto-Promptable SAM3 via Efficient Test-Time Concept Embedding Search for Few-Shot Annotation

上下文与知识上下文工程

摘要

将基础分割模型从人工提示工具转变为自动提示注释器对于可扩展的医疗数据注释至关重要。当前的方法通常依赖于外部特征匹配器或辅助网络来自动进行几何提示,但会引入架构开销并限制性能可扩展性。尽管 SAM3 本身通过可重复使用的文本提示支持概念分割,但由于缺乏细粒度的临床知识和人类编写的描述的模糊性,其在医学成像中的直接使用受到阻碍。在这项工作中,我们提出了 Mask to Concept (M2C),这是一种有效的框架,它采用 SAM3 进行医学少量注释,无需外部模块、参数重新训练或手动文本工程。 M2C 仅使用少量标记图像,使 SAM3 能够完全在其冻结架构内自动搜索可转移的视觉概念:它初始化可学习的概念嵌入,使用它来提示分割,并通过最小化概念分割误差的梯度来更新嵌入。我们进一步引入了混合不确定性估计(HUE)模块,该模块计算预测熵并将概念预测映射回框提示,测量概念几何提示的不一致。高度不确定的样本会被主动标记以进行人工校正,然后将校正后的掩模反馈回 M2C,以不断搜索更精确的概念嵌入,从而以最少的专家努力形成自我增强的注释循环。医学分割基准实验表明,我们的方法实现了 SOTA 的少镜头分割性能和出色的注释效率,为可扩展的医学图像标记提供了实用且有效的途径。代码位于 https://github.com/Huster-Hq/M2C。