SG-Layout：使用 LLM 生成结构化场景图引导布局

对于 大语言模型 (LLM) 来说，从自然语言理解并生成空间连贯的布局仍然是一项基本但具有挑战性的任务。现有的 LLM 通常很难捕获对象之间的显式几何关系和结构依赖性。为了解决这个问题，我们提出了 SG-Layout，这是一种图形引导的布局生成框架，它明确地将结构化空间知识合并到 LLM 中。 SG-Layout 遵循两阶段训练范例：（1）图语言特征对齐阶段，其中关系图编码器和投影仪被训练以将场景图嵌入映射到 LLM 的语言空间中； (2) 指令调整阶段，其中基于 LoRA 的适配器可实现高效的 微调 指令驱动布局生成，同时保持骨干网冻结。我们在图像布局生成、室内场景合成和机器人对象重新排列任务方面评估 SG-Layout。实验结果表明，SG-Layout 相对于紧凑的开源主干网提高了空间推理精度和几何一致性，在关系密集和成分复杂的场景中具有特别明显的优势。这些结果凸显了图结构特征对齐对于增强可控布局生成的有效性。