论文
ProxyBuild:使用网格锚定程序代理生成文本引导的结构化 3D 建筑
ProxyBuild: Text-Guided Structured 3D Building Generation with Mesh-Anchored Procedural Proxies
摘要
文本引导的 3D 建筑生成具有巨大的应用潜力,但现有的生成模型通常输出不可分割的单个网格或非交互式渲染表示。虽然程序建模可以生成具有层次结构的可编辑建筑物,但规则编写很费力,即使借助大型语言模型(LLM),在几何约束下有效解决程序规则仍然具有挑战性。在本文中,我们提出了 ProxyBuild,一种用于结构化建筑生成的新型混合框架。我们引入网格锚定过程代理(MAPP)作为一种新颖的中间表示,它将构建组件紧密锚定到几何壳上,从而将生成任务解耦为两个阶段:代理预测和代理到资产实例化。首先,我们构建一个带有 MAPP 注释的建筑数据集来训练我们设计的面边双图编码器。通过对异构网格图上拓扑元素的特征交互进行显式建模,该编码器可以准确推断面和边的语义角色。随后,以大语言模型解析的文本样式和属性参数为条件,通过将空间放置逻辑与硬约束相结合,完成高精度资产检索和组装。大量实验表明,ProxyBuild 不仅可以显着缓解构建生成中的常见问题(例如过度平滑、组件碰撞和结构损坏),而且可以准确解析来自不同来源的无语义 shell。我们的方法在各种指标上都优于先前的基线,可以从文本中稳健地生成结构清晰、细节丰富且可后期编辑的 3D 建筑,从而为虚拟现实和数字孪生等下游应用程序提供可靠的交互式内容基础。