AnomalyAgent：用于零/少样本异常检测的 无需训练 代理模型

受益于 CLIP 等视觉语言模型 (VLM) 的通用性，许多零/少样本异常检测 (AD) 方法在各种数据集上取得了令人印象深刻的检测性能。然而，它们需要对大型辅助数据集进行大量训练，以使 VLM 适应异常检测，并且它们的推理很大程度上依赖于嵌入基于相似性的异常分数的视觉文本，缺乏检测需要深入上下文理解的复杂异常的推理能力。为了解决这个限制，我们提出了 \textbf{AnomalyAgent}，一种新颖的 无需训练 代理框架，它利用多模态 大语言模型 (MLLM) 的高级推理和泛化能力进行异常检测。关键要素包括 \textbf{1)} 一个以异常为中心的综合工具集，可在零样本设置中实现自适应 MLLM 驱动的代理异常推理，以及 \textbf{2)} 一个定制的内存模块，可通过少量样本、上下文中的参考示例进行异常推理。我们将评估范围从广泛使用的基准中检测简单异常（例如裂纹、凹痕和明显病变等表面缺陷）扩展到更多样化类型的异常，例如物流和制造环境中的逻辑/上下文异常。大量的实验结果表明，与基于 无需训练 VLM 的 AD 和通用代理方法相比，我们的 AnomalyAgent 实现了明显更好的性能，突出了其在零样本和少样本异常检测设置中的卓越泛化能力。代码实现可以在这个地址找到。