论文
XCT-SAM:用于工业 XCT 缺陷分割的 SAM 的顺序参数有效域适应
XCT-SAM: Sequential Parameter-Efficient Domain Adaptation of SAM for Industrial XCT Defect Segmentation
摘要
由于严重的类别不平衡和扫描条件下的较大分布变化,增材制造 (AM) X 射线计算机断层扫描 (XCT) 图像中的缺陷分割仍然具有挑战性。尽管最近的基础模型(例如 Segment Anything Model (SAM))提供了强大的通用分割先验,但它们的自然图像 预训练 很难转移到 AM XCT 域,其中缺陷表现为微妙的非语义微观结构异常。此外,将 SAM 应用于 AM 域还受到较大的域差距和标记的真实 XCT 数据的稀缺性的进一步限制。我们提出了 XCT-SAM,一种用于 AM XCT 缺陷分割的顺序参数高效自适应框架。我们不是直接将 SAM 从自然图像调整为 XCT 数据,而是首先在合金微观结构数据集上微调 Conv-LoRA 适配器,然后将调整后的模型转移到 XCT 图像,逐步弥合域差距。该框架使用等级 r=2 的 Conv-LoRA 适配器,将卷积空间归纳偏差注入 SAM 的主干,同时训练大约 415 万个参数并保持超过 99% 的模型冻结。我们在分布外的 CycleGAN-XCT 基准和现实世界的 NIST XCT 扫描上评估 XCT-SAM。在这两种设置中,XCT-SAM 始终优于零样本 SAM 和其他领域适应的 SAM 基线,实现了最佳的总体 IoU 和 Dice 分数。这些结果证明了使用参数高效适配器的中间域适应对于工业 XCT 缺陷分割的有效性。源代码可在 https://github.com/Mahedi-61/XCT-SAM.git 上公开获取