论文
PL-SCEA:重新配置预训练注意力以进行少量工业异常检测
PL-SCEA: Reconfiguring Pretrained Attention for Few-Shot Industrial Anomaly Detection
摘要
视觉基础模型(VFM)为少量工业异常检测提供可转移的补丁表示,但它们的注意力计算通常继承自以语义聚合为中心的预训练目标。这会产生潜在的不匹配:支持语义识别的标记关系可能无法充分暴露异常定位所需的局部纹理和结构偏差。因此,我们研究了这样一个假设:冻结 VFM 的注意力计算可以重新配置为异常检测的任务相关组件。我们用幂律自相关增强注意力(PL-SCEA)来实例化这个想法,它保留了预训练的查询键注意力的语义上下文,同时在上下文值特征上构建词元自适应自相关。然后,正相关过滤和幂律重新加权强调相对于每个标记的关系背景而言显着的关系,而不引入额外的可训练注意力投影。生成的特征由轻量级变分自动编码器建模,该编码器提供特定类别正态性的基于固定大小重建的表示。这两个阶段起着互补的作用:注意力重新配置决定了局部关系偏差的表示方式,而基于重建的建模将学习正常性的偏差转换为异常分数。在 MVTec AD 和 VisA 中,完整的框架在评估的少样本设置中实现了具有竞争力的图像级检测和一致的强大像素级定位。消融进一步表明,PL-SCEA 在测试设置下改进了 VAE 或存储体的本地化。这些结果支持这样的观点:任务对齐的注意力重新配置可以提高冻结预训练表示的异常定位能力。