Jev与Clef-Flash在少样本制造缺陷检测中比较概率校准

相机和视觉传感器广泛用于制造环境中的产品和过程检查。传统上，这个过程需要数千张合格产品和缺陷产品的图像来训练此类模型。最近的研究表明，视觉 transformer (ViT) 模型（例如 CLIP）可以将这一要求减少到每个合格与缺陷类别 50-100 个图像。然而，在高良率或小批量的制造过程中，即使收集 50 张有缺陷的图像也可能很困难。在本文中，我们研究了最近提出的两种结构化决策模型（Jev 和 Clef-Flash）在应用程序中的实用性，在推理时每类使用的参考图像数量少至 k=2。在此过程中，我们提供了三个主要贡献：（a）用于图像分类/检查应用的这些模型的 k-shot 学习框架； (b) Agentic 方法，用于自动细化指导这些决策模型中的图像分类的文本描述； (c) 校准由此产生的缺陷概率的方法，以提高其检查决策的可靠性。我们在五个制造案例研究中测试了这些贡献。每个类使用两个参考图像，Jev 和 Clef-Flash 均优于具有相同参考的 CLIP 测试精度（0.75-1.00 [Jev] 和 0.71-0.99 [Clef-Flash] vs 0.67-0.84 [CLIP]）。此外，我们还表明，我们对文本描述的 Agentic 细化显着提高了 8 个模型应用程序组合中的 6 个的准确性，并且我们的校准方法降低了 15 个模型应用程序配置中的 13 个中的 Brier 分数。为了支持我们工作的可重复性，我们提供了复现代码并创建了 R的“decisions”包来评估其他模型。我们还提供了一个公开可用的网络应用程序，允许从业者无需代码即可检查自己的图像。