论文

PSMP-CLIP:用于基于 CLIP 的零样本异常检测的补丁提示 SAM 和多语义提示

PSMP-CLIP: Patch-Prompt SAM and Multi-Semantic Prompting for CLIP-Based Zero-Shot Anomaly Detection

模型训练监督微调与指令调优

摘要

零样本异常检测旨在在没有目标域样本的情况下定位异常。现有的基于 CLIP 的方法存在粗糙的异常图和有限的语义提示。我们提出了 PSMP-CLIP,集成了补丁提示 SAM2 分割(PPSS)和多语义引导提示正则化(MSGPR)。 PPSS 样本直接从中间补丁特征提示,避免阈值漂移并指导 SAM2 生成精确的掩模。 MSGPR 使用受语义锚约束的多个可学习提示来保持泛化。在 14 个数据集上的实验显示出极具竞争力的性能,在 MVTec AD、BTAD、DTD-Synthetic、CVC-ClinicDB、TN3K、Endo 和 Kvasir 上实现了最佳像素级 AUROC。