论文
提示图像生成器进行 无需训练 原始形状抽象
Prompting Image Generators for Training-free Primitive Shape Abstraction
摘要
紧凑的图元抽象用一些几何图元表示 3D 形状,同时保留可识别的组件。学习的方法取决于其训练课程,并且基于优化的方法以几何方式分割形状而不是分割成多个部分。相反,我们重复使用预训练模型的视觉部分知识,而无需进行特定于任务的训练或 微调。视觉语言模型在多视图渲染中命名零件,未经修改的图像生成器绘制颜色编码的零件蒙版。重投影和空间聚类恢复 3D 实例,经典优化器适合每个零件一个锥形和弯曲的超二次曲面。每个对象有 5 到 8 个基元,抽象与 HumanPrim 上最强学习基线的倒角距离相匹配,在 Toys4K 上改进了 10%,并且在紧凑方法中具有最低的重叠,而椅腿、靠背杆和轮子仍然是单独的基元。我们的准确性也比他们更好地转移到学习方法的 ShapeNet 训练类之外的对象上。在相同的拟合器下,用 3D 分割方法 P3-SAM 或 PartField 的零件标签替换生成的掩模可将 IoU 降低 7 到 17 个点。进一步的研究将剩余的体积误差与零件粒度以及渲染视图仅从一侧观察到的零件联系起来。