论文
HDSL:一种分层领域特定语言,用于使用 LLM 代理生成结构化 3D 室内场景和本地化编辑
HDSL: A Hierarchical Domain-Specific Language for Structured 3D Indoor Scene Generation and Localized Editing with LLM Agents
摘要
文本驱动的室内场景生成和编辑需要语言模型可以生成和修改的中间表示。现有的基于 LLM 的系统通常依赖于场景图或全局约束列表,这些列表很紧凑,但未指定局部几何形状,并使基于指令的编辑难以本地化。我们将此问题定义为结构化程序生成和本地程序修复,并提出了分层描述性场景语言 (HDSL),这是一种用于结构化 3D 室内场景的 XML/CSS 风格的领域特定语言。 HDSL 将房间、区域、对象和支撑表面表示为具有局部坐标的树,使复杂的场景更容易递归规划,也更容易检索进行编辑。我们的管道使用 LLM 代理生成具有限定范围的验证的 HDSL 子树,通过多模式资产检索为非虚拟节点匹配实际资产,并应用力导向布局优化来修复边界和碰撞错误。对于编辑,分层检索增强生成检索相关子树,要求 LLM 仅重写该本地上下文,并通过确定性三向合并将结果合并回来。在我们复制的基准测试中,HDSL 在完整的文本到场景基线上提高了平均对象覆盖率、文本场景对齐和生成效率,同时在几何指标上与最近仅布局的复制保持竞争力;对于编辑,HRAG 将词元使用量减少了 $5.22\times$,运行时间减少了 $6.19\times$,为所有八个配对编辑生成有效的 DSL,并更好地保留不相关的场景对象。