论文

Shape:用于工业 CAD 分析的自监督 3D 几何基础模型

Shape: A Self-Supervised 3D Geometry Foundation Model for Industrial CAD Analysis

模型训练预训练

摘要

工业 CAD 工作流程需要强大、可概括的 3D 几何表示,以支持准确性和可解释性。我们引入了 Shape,这是一种自我监督的基础模型,可将表面网格转换为密集的每个词元嵌入。 Shape 结合了结构化 3D 潜在网格、具有交叉注意力的多尺度几何感知分词器 (MAGNO) 以及使用分组查询注意力和 RMSNorm 的 Transformer 处理器。学习到的重建先验可以实现每个区域的归因以进行可解释的预测。预训练使用归一化几何统计数据和多分辨率对比一致性的屏蔽标记重建。 1090 万参数主干网在 Thingi10K、MFCAD 和 Fusion360 的 61,052 个 CAD 网格上进行了预训练。在 2,983 个网格的保留分割上,Shape 在 Wang-Isola 协议下实现了重建 R2 = 0.729 和 98.1% 的 top-1 检索,重建训练/验证间隙接近于零(对比分数使用更大的评估池)。对损失类型和目标空间归一化的 2x2 消融表明,每维度归一化至关重要:没有它,性能就会崩溃(R2 < 0.14,top-1 < 88%);有了它,两次损失都会成功(R2 > 0.70,top-1 > 96%)。 Smooth-L1 提供二级稳定性。代码、嵌入和交互式演示在 https://github.com/simd-ai/shape 上发布。