论文
ADOPD:参考特权 同策略 蒸馏,用于基于 MLLM 的工业异常检测
ADOPD: Reference-Privileged On-Policy Distillation for MLLM-Based Industrial Anomaly Detection
摘要
工业异常检测 (IAD) 需要识别与正常视觉模式的细粒度偏差。多模态 大语言模型 (MLLM) 可以通过在推理时将查询图像与参考图像进行比较来提高识别准确性,但这些好处依赖于额外的检索和处理。我们研究是否可以将参考比较的好处内化到模型参数中。在训练期间访问参考资料允许具有参考资料意识的教师监督仅查询的学生。然而,教师可能倾向于基于查询线索或语言先验而不是有效的视觉信息做出合理的反应。我们提出 ADOPD,一个参考特权 同策略 蒸馏 框架。教师根据匹配和不匹配的参考评估学生生成的轨迹。匹配参考教师与学生的对数比定义了 词元级 学习方向,指定学生应该学习什么。两个参考视图之间的似然差距估计参考特定支持并校准序列级权重。在零样本推理下,ADOPD 在 MMAD 基准上实现了 77.31% 的平均准确率,将 Qwen3-VL-4B 主干网提高了 6.14 点,比单样本设置高了 2.64 点。实验表明,ADOPD 从参考比较中学习了细粒度的异常检查策略。该项目将在 https://github.com/withTai/ADOPD 上提供。