VGGT-CAD：利用几何基础重建参数化 CAD 3D 模型

摘要

参数化 CAD 重建需要从视觉观察中恢复精确的几何形状和可编辑的建模操作，这使得在有限和模糊的视图下变得具有挑战性。现有方法主要依赖于 2D 外观线索，缺乏强大的多视图几何先验。在这项工作中，我们提出了 VGGT-CAD，这是一种几何感知框架，用于根据单视图和多视图观察进行参数化 CAD 重建。我们通过将相机参数编码为条件标记并与图像标记联合建模，将预训练的 3D 几何先验转移到 CAD 重建中。为了处理不同数量的视点，我们引入了可变视图跨视图上下文聚合模块，该模块自适应地融合多视图特征。我们进一步开发了一种免训练的几何感知视图选择策略，以在推理过程中选择互补且可靠的框架。使用非自回归解码器将所得表示解码为 CAD 命令序列。我们还开发了 VideoCAD，这是一种通过多视图重新渲染从现有 CAD 数据衍生的大型多视图视频基准。大量实验证明了 VGGT-CAD 在不同观察配置下进行视觉 CAD 重建的有效性。