非曼哈顿环境中的文本驱动3D室内场景合成

摘要

大语言模型（LLM）已在曼哈顿环境的3D室内合成中展示卓越能力。但既有方法常无法在非曼哈顿环境中捕获合理的物体布局模式——主要因为它们难以建模非正交空间关系——导致高几何违例与低物理保真度。为应对该挑战，我们提出SPG-Layout——新型文本驱动框架——设计用于在复杂非曼哈顿环境中生成物理合理的室内场景。具体地，我们首先利用物体分布的统计先验指导训练过程——增强环境理解与保真度。此外，镜像人类设计工作流——我们采用优先放置大物体的层级布局策略——从而大幅减少布局违例。通过协同这些组件——SPG-Layout实现语义真实感与物理合理性的平衡优化。为评估这些复杂环境中的性能——我们构建了包含500个多样非曼哈顿环境的新基准。大量实验表明SPG-Layout在曼哈顿与非曼哈顿环境中都持续显著超越既有方法。代码将公开。

非曼哈顿环境中的文本驱动3D室内场景合成：论文配图 — 图 2：建议的 SPG-Layout 框架概述。 (i) 提供对结构化场景表示的直观理解（第 3.1 节）。 (ii) 通过全参数微调进行结构调整（第 4.3 节第 1 阶段）。 (iii) 推理管道说明了渐进式生成的分层布局策略（第 4.4 节）。 (iv) 强化学习通过 GRPO 使用多目标奖励函数优化模型（第 4.3 节第 2 阶段）。