InspectorGPT：用于综合工业异常检测的比较推理增强型 VLM

工业异常检测是现代制造业的关键组成部分。大多数传统的无监督方法依赖于对正态特征分布进行建模，本质上限制了对未知类别的泛化。为了提高通用性，最近的一些方法结合了视觉语言模型（VLM），通过文本提示进行零样本检测。然而，我们观察到面向推理的 后训练 可能会导致异常辨别崩溃，一些微调模型的性能比其基础 VLM 更差。现有方法还仅提供文本决策或粗框，没有像素级分割。更明确的检测原理来自人工检查：通过将查询图像与无缺陷参考进行比较来识别异常。受此启发，我们提出了InspectorGPT，一个以比较推理为中心的VLM框架。给定正常参考和查询图像，InspectorGPT 会对它们进行比较，以识别差异并通过详细推理执行多项检查任务。我们通过思想链 (CoT) 微调 和组相对策略优化 (GRPO) 以及定制的、可验证的奖励来内化这种能力。我们进一步引入了用于像素级异常掩模的 InspectorGPT-Seg。分割监督提高了异常辨别力，但削弱了语义推理，而联合训练却无法平衡它们。因此，我们分别训练两个分支，并通过任务向量融合将它们组合起来。大量的实验证明了其卓越的多维性能和对未见过的基准的泛化能力，验证了综合工业检查的比较推理。