论文

CoRe-SAM3:条件语义——SAM3 裂纹分割的视觉协调

CoRe-SAM3: Conditional Semantic--Visual Reconciliation for SAM3 Crack Segmentation

模型训练参数高效训练

摘要

裂纹分割需要一个模型能够识别目标语义,同时准确地恢复薄的、低对比度的和拓扑连续的局部结构。尽管 SAM3 提供了强大的开放概念分割,但其直接应用于裂纹域仍然会错过弱裂纹、激活类似裂纹的背景区域并产生局部边界错误。我们首先在五个破解数据集上诊断 SAM3 的内部提示条件语义表示和本机视觉表示之间的功能差异。结果表明,语义表示已经携带了裂纹预测的大部分任务信息,而视觉表示的效用取决于当前的语义状态。直接组合这两种表示不会产生一致的增益。基于这一发现,我们提出了条件语义视觉协调,称为 CoRe。 CoRe 保留语义预测作为主要决策路径,应用轻量级语义校准来调整目标域决策映射,并使用空间对齐的本地视觉证据来生成零初始化、有界和正则化的条件残差,选择性地纠正现有预测。在五个领域中,CoRe-SAM3 将平均 Crack IoU 从 62.34% 提高到 70.47%,将 clDice 从 81.98% 提高到 89.24%,同时仅引入 18.914 K 个可训练参数。预测转换分析进一步表明,CoRe 平均纠正了 34.38% 的原生错误,而由原生 SAM3 正确分类的像素损坏率仅为 0.23%。这些结果表明,基于内部表示之间的功能差异的约束预测校正为具有强任务特定语义先验的视觉基础模型提供了有效且参数高效的目标域适应策略。