论文
潜在异常知识挖掘:揭示视觉语言模型中的稀疏敏感神经元
Latent Anomaly Knowledge Excavation: Unveiling Sparse Sensitive Neurons in Vision-Language Models
摘要
大规模视觉语言模型(VLM)表现出卓越的零样本能力,但驱动其异常检测(AD)性能的内部机制仍然知之甚少。目前的方法主要将 VLM 视为黑盒特征提取器,假设必须通过外部适配器或内存库获取特定于异常的知识。在本文中,我们挑战这一假设,认为异常知识本质上嵌入在预先训练的模型中,但仍然是潜在的和未激活的。我们假设这些知识集中在异常敏感神经元的稀疏子集中。为了验证这一点,我们提出了潜在异常知识挖掘(LAKE),这是一个 无需训练 框架,仅使用最少的正常样本集即可识别并引发这些关键神经元信号。通过隔离这些敏感神经元,LAKE 构建了一个高度紧凑的正态表示,将视觉结构偏差与跨模态语义激活相结合。对工业 AD 基准的大量实验表明,LAKE 实现了最先进的性能,同时提供了内在的神经元级可解释性。最终,我们的工作提倡范式转变:将异常检测重新定义为潜在的预训练知识的有针对性的激活,而不是获取下游任务。