论文

Point2Part:根据点提示进行统一 3D 分区

Point2Part: Unified 3D Partitioning from Point Prompts

应用与实践视觉感知与空间理解

摘要

现有的 3D 零件分解方法不一定将原始形状划分为共同覆盖整个形状的不重叠的零件,从而存在阻碍下游零件级应用的重叠或间隙。相反,我们将部分分解公式化为整个形状的联合划分,其中预测的部分不重叠并联合恢复整个形状。我们的主要见解是,零件分解应该共同考虑所有所需的零件,而不是独立地对每个零件进行建模。为此,我们开发了一个用于从图像或网格进行 3D 零件分解的快速模型。用户可以通过3D点提示指定想要的零件,进行可控分解。给定每个所需部分的一个点提示,我们的模型会生成相应的部分作为整个形状的完整分区。我们建立在预训练的 3D 生成模型的基础上,首先从输入图像或网格中获取潜在的形状。然后,我们引入一个提示编码器,将每个 3D 点提示映射到一个零件标记,同时关注潜在的形状。为了解码所需的部分,我们提出了一种新颖的部分解码器,以从粗到细的方式联合对所有部分标记对整个形状进行评分,将形状体积内的每个位置恰好分配给一个部分。我们在这个共享形状潜在空间中执行零件分解,从而为图像到零件生成、网格到零件生成和零件分割提供统一的模型。我们的方法在所有三个任务的所有零件质量指标上都优于现有的工作,并且比以前的 SOTA 方法提高了零件之间的兼容性一个数量级。代码和模型将被发布。