论文

VFAD:变分语义提示与频率自适应表示学习相结合,实现零样本异常检测

VFAD: Variational Semantic Prompting Meets Frequency-Adaptive Representation Learning for Zero-Shot Anomaly Detection

应用与实践视觉感知与空间理解

摘要

零样本异常检测(ZSAD)旨在检测和定位未见类别中的异常,而无需访问特定于目标的训练数据。尽管最近基于 CLIP 的方法通过视觉语言对齐展示了有希望的泛化能力,但它们在捕获不同的异常语义和微妙的局部变化方面仍然有限。为了解决这些限制,我们提出了 VFAD,这是一个将变分语义提示与频率自适应表示学习相结合的统一框架。具体来说,我们引入了变分语义提示提取器(VSPE),它自适应地聚合来自密集补丁标记的异常相关局部语义,并通过变分信息瓶颈对它们进行正则化,从而合并细粒度的视觉线索并实现更精确的跨模式对齐。此外,我们开发了频率自适应表示聚合(FARA)模块,该模块利用基于小波的频率分解和特定频率的专家聚合来增强异常辨别视觉表示。通过联合加强语义引导和视觉表示学习,VFAD 提高了异常辨别和细粒度定位。对 13 个工业和医疗基准进行的广泛实验表明,VFAD 在不同的异常场景中始终优于现有最先进的 ZSAD 方法。该代码将在发布后公开。