DCM-SAM：LoRA 专家的缺陷条件混合，用于 NPU 部署的 AM 缺陷分割

金属增材制造零件通过 X 射线计算机断层扫描进行检查，其中标记的数据很少，重要的孔隙和夹杂物跨越几个像素，并且检查必须在机器上进行。我们提出了 DCM-SAM，一种 LoRA 专家的缺陷条件自适应混合：一个冻结的 Segment Anything 主干网针对每个缺陷类别携带一个单独的 Conv-LoRA 专家库和掩模解码器，每个都在自己的通道中进行训练，没有提示，仅在合成切片上进行训练，仅更新 4.4% 的参数。根据 XCT-SAM 报告的基准，DCM-SAM 在 ViT-B 骨干网与 ViT-H 的两个类别的每个基线上都有所改进，并且在训练期间没有看到真实图像的真实 NIST 扫描中达到 64.2% 的孔 IoU。然后，部署暴露了适应工作很少测量的内容：在 Qualcomm Hexagon NPU 上，ViT-H 和 ViT-L 进行编译，但无法以 1024x1024 图像分辨率进行分配，因为激活而不是权重超出了设备上限，并且量化权重无济于事。 ViT-B 单独运行，但改编后的编码器无法分配库存成功的位置，直到对注意力进行数值上相同的重写，让完整的 DCM-SAM 在 FP16 中以 1024x1024 运行，没有操作员回退到 CPU，掩码在 FP32 参考像素的 0.01% 范围内。代码：https://github.com/MushfiqShovon/DCM-SAM.