3D-CoS：基于VLM代码合成的新3D重建范式

大多数最新的 3D 重建和编辑系统都在隐式和显式表示上运行，例如 NeRF、点云或网格。虽然这些表示可以实现高保真渲染，但它们从根本上来说是底层的并且难以以编程方式控制。相比之下，我们提出并系统地评估了一种新的 3D 重建范例，即 3D 代码合成 (3D-CoS)，其中 3D 资产被构建为可执行的 Blender 代码，这是一种编程和可解释的介质。为了评估当前 VLM 使用代码表示 3D 对象的能力，我们在统一协议下评估基于代码的重建中代表性的开源和闭源 VLM。我们进一步介绍了一套结构化代码合成工作流程，包括基于蓝图的规划、基于 Blender API 文档的检索增强生成 (RAG)、少量几何演示以及用于部分代码生成的组件级代理工作流程。为了展示这种表示的独特优势，我们进一步评估本地化文本驱动的修改，并将基于代码的编辑与基于点云的 3D 编辑基线进行比较。我们的研究表明，作为 3D 表示的代码提供了强大的可控性和局部性，在我们的目标编辑评估中产生更强的编辑保真度和更好地保留未编辑区域。我们的工作还分析了这种范例的潜力，描绘了用于程序化 3D 建模的 VLM 当前的能力前沿，并强调代码合成是可编辑 3D 重建的一个有前途的方向。