论文

CubePart:开放词汇的部件可控3D生成器

CubePart: An Open-Vocabulary Part-Controllable 3D Generator

模型架构新型架构

摘要

游戏与仿真中使用的交互式3D资产通常被分解为特定的语义部件以支持动画、物理与脚本化行为,然而大多数生成式3D模型要么产出整体式网格,要么给出无法与应用特定需求对齐的任意部件分解。我们提出CubePart,一个面向开放词汇、部件可控3D网格生成的框架,它将部件结构暴露为显式的推理时控制信号。给定一个全局文本提示和一个以开放式部件名称列表表达的用户自定义部件模式(schema),我们的方法生成一组网格——每个模式元素一个——它们组装成一个连贯的物体,同时遵循指定的语义结构。为实现这一能力,我们引入了可扩展的数据流水线来构建大型开放词汇、部件级标注的3D数据集,并采用将全局形状合成与部件级解码分离的两阶段生成架构。我们证明所生成的资产可以直接集成到游戏引擎中,并由动画与行为脚本驱动,无需人工后处理。项目主页:https://cubepart.github.io/。

CubePart:开放词汇的部件可控3D生成器:论文配图
图 1.我们提出了 CubePart,一种开放词汇的零件可控 3D 生成器。 (a) 给定文本提示和定义部件分解的模式,CubePart 合成一个多部件 3D 对象,其中每个组件都是一个独特的、结构完整的网格。 (b) 这种基于可控部件的生成框架直接促进了将生成的资产用于脚本或物理模拟行为(底行)。此外,CubePart 可以接受现有网格作为输入,根据输入部分架构(最后一列)将其分解为语义多部分网格。请参阅视频以了解动画可视化。