SAM3-LoRA：多类结构缺陷分割概念提示基础模型的参数高效适应

诸如 SAM3 之类的即时分段基础模型接受开放词汇文本概念并返回与其匹配的每个实例，但通过完整的 微调 将它们适应专门的领域对于最受益的组织来说在计算上是令人望而却步的。本研究将低秩适应 (LoRA) 应用于 SAM3 进行多类结构缺陷分割，并检查如何从传统注释中监督此类模型以及由此产生的效率增益是否跨数据集转移。有两个贡献是方法论上的。首先，我们描述了一个监督过程，通过使用类别名称本身作为提示，直接从 COCO 风格的类标记实例分割训练概念提示模型，不需要提示模板，不需要同义词扩展，也不需要学习的类嵌入。其次，我们识别并减轻特定于此设置的故障模式：因为传统的注释文件专门产生积极提示，所以模型的存在预测与文本条件脱钩，并退化为响应任何提示，这种崩溃对于仅根据积极提示计算的每个指标都是不可见的。详尽的硬负提示（其中图像中不存在的每个数据集类别都作为零检测查询发出）无需注释成本即可解决此问题。在相同的协议下比较了两个适配器放置，更新了模型参数的 0.121% 和 1.341%。在专门构建的隧道衬砌数据集上，像素交集从 0.017 提高到 0.338，实例级召回率从 0.375 提高到 0.672；在独立公共结构缺陷数据集上，从 0.017 到 0.855 以及从 0.574 到 1.000。两个数据集的十个指标的改进在方向上是一致的，并且每个类别的最大收益恰恰发生在缺乏零样本能力的地方。