NaLA：用于生成高质量 3D 场景的 3D 原生 LLM 布局代理

最近，大语言模型 (LLM) 已成为 3D 场景生成的有前景的布局代理。现有的布局代理仍然受到令人难以置信的布局生成的困扰，因为它们大多数将 3D 资产和 3D 布局转换为文本描述作为输入和输出，这会由于文本与 3D 资产和 3D 布局之间的模态差距而导致严重的信息丢失。我们提出 NaLA，一种原生 3D LLM 布局代理，通过将 3D 资产放置在场景中来生成高质量的 3D 场景。对于输入，NaLA 将 3D 场景边界和 3D 资产直接编码到 LLM 中，保留细粒度的几何形状，并支持对碰撞、表面支撑和包容等关系进行显式推理。为了准确输出资产的位置和方向，NaLA采用从粗到精的预测机制，首先以自回归的方式预测离散姿态，然后通过连续回归来细化离散姿态。经过不同布局数据集的训练，NaLA 获得了强大的几何感知和布局连贯性。实验表明，NaLA 在生成质量和推理效率方面均优于先前的布局代理，并通过全面的消融研究来验证每个组件的有效性。