论文

MegaParts:通过词元高效自回归建模将零件感知 3D 对象生成扩展到 300 个零件

MegaParts: Scaling Part-Aware 3D Object Generation to 300 Parts via Token-Efficient Autoregressive Modeling

应用与实践内容创作

摘要

部件感知 3D 对象生成对于可控建模、编辑和清晰度等图形应用程序至关重要,其中对象被表示为语义部件的连贯组件。然而,现有的零件感知生成方法不能很好地扩展到高度复杂的对象。随着零件数量的增加,生成详细的几何图形在词元长度和内存方面变得异常昂贵。我们引入了 MegaParts,这是一个可扩展的自回归 3D 生成框架,通过将结构化序列建模与词元高效的矢量量化形状词元生成器相结合来应对这一挑战。我们的分词器通过最大限度地减少高保真重建的标记使用来学习零件级几何的离散潜在表示,从而实现基于几何复杂性的自适应长度标记化。在这种紧凑的表示之上,我们训练 大语言模型 在统一的结构化序列中生成对象边界框、部分边界框和部分形状标记。结合高效的长上下文训练策略,我们的词元高效公式可扩展到具有最多 300 个部分和高达 256k 词元的序列长度的对象。这极大地扩展了零件感知 3D 生成的规模,同时保留了组合结构并实现了细粒度的零件级控制。我们的方法实现了比基线自回归和扩散模型更高的网格质量,这表明压缩的离散部分标记不仅提高了可扩展性,而且提高了生成的几何图形可实现的保真度。这些结果表明,LLM 原生词元高效自回归建模是大规模零件感知 3D 生成的扩散的一个引人注目的替代方案。该项目页面位于 https://expmaster.github.io/megaparts_webpage。