论文

融合预训练图像与点云表征的三维异常检测

GRC-Net: Global Representation Consistency Network for Unsupervised Multimodal Anomaly Detection

模型训练模型评测应用与实践参数高效训练鲁棒性、公平性与可信度评测行业应用

摘要

自动化质量检测对于确保制造过程中的产品可靠性至关重要。虽然基于图像的方法可以有效捕获与外观相关的缺陷,但这些方法在检测结构和几何异常方面受到限制,因此需要结合 3D 信息的多模态方法。然而,现有的方法主要依赖于局部块级表示,即使在正常区域,这也常常导致不稳定的重建误差。为了解决这个限制,我们提出了 GRC-Net,它集成了全局注意力 MLP,以通过稳定的重建模块来强制跨补丁嵌入的全局表示一致性,以提高重建稳定性。所提出的方法通过全局Token捕获整体上下文信息,并通过最小化原始嵌入和预测嵌入之间的差异来抑制重建噪声。 MVTec 3D-AD 和 Eyecandies 上的实验表明,GRC-Net 在图像和像素级别上始终优于现有方法。定性结果进一步证明正常情况下重建误差减少 区域以及正常区域和异常区域之间更明显的重建差异。

融合预训练图像与点云表征的三维异常检测:论文原图
图 1:所提出的 GRC-Net 架构概述。该框架结合了 GA-MLP 来捕获全局上下文关系和 SRM 来抑制不稳定的重建错误。