论文

CasLayout:使用隐式关系建模进行室内场景合成的级联 3D 布局扩散

CasLayout: Cascaded 3D Layout Diffusion for Indoor Scene Synthesis with Implicit Relation Modeling

应用与实践内容创作

摘要

由于数据稀缺以及同时实施全局架构约束和局部语义一致性的困难,合成真实的 3D 室内场景仍然具有挑战性。现有的方法经常忽略结构边界或依赖于引入冗余生成错误的完全连接的关系图。受人类设计认知的启发,我们提出了 CasLayout,这是一个级联扩散框架,它将联合场景生成任务分解为具有明确物理和语义角色的四个条件子阶段:(1)预测家具数量和类别,(2)细化对象大小和特征嵌入,(3)对潜在空间中的空间关系进行建模,以及(4)生成定向边界框(OBB)。这种解耦架构降低了数据需求,并能够灵活集成 大语言模型 (LLM) 和视觉语言模型 (VLM),以实现图像到场景生成等零样本任务。为了保持复杂平面图中的物理有效性,我们明确地将建筑元素(例如墙壁、门和窗户)建模为条件约束。此外,为了解决密集关系图的高熵问题,我们引入了与人类空间描述一致的稀疏关系图公式。通过使用双向变分自动编码器(VAE)将这些稀疏图编码到紧凑的潜在空间中,所提出的框架提供了增强的关系可控性,允许生成的布局更好地尊重功能组织。实验表明,CasLayout 在保真度和多样性方面实现了最先进的性能,同时在实际应用中提高了可控性。