论文
SpatialGrammar:面向基于LLM的3D室内场景生成的领域特定语言
SpatialGrammar: A Domain-Specific Language for LLM-Based 3D Indoor Scene Generation
摘要
从自然语言自动生成交互式3D室内场景对虚拟现实、游戏和具身AI至关重要。然而,现有的基于LLM的方法常常出现空间错误和碰撞,部分原因在于常见的场景表示——原始坐标或冗长代码——使模型难以推理3D空间关系和物理约束。我们提出SpatialGrammar,一种领域特定语言,将重力对齐的室内布局表示为BEV网格放置,并可通过确定性编译生成有效的3D几何体,从而支持可验证的约束检查。基于该表示,我们开发了(1)SG-Agent,一个利用编译器反馈迭代优化场景并强制执行碰撞约束的闭环系统;(2)SG-Mini,一个完全在编译器验证的合成数据上训练的104M参数模型。在横跨五种不同复杂度场景的159个测试场景上,SG-Agent相比先前方法提升了空间保真度和物理合理性,而SG-Mini在单次生成场景中与更大的基于LLM的基线相比具有竞争力。
