论文
SDesc3D:通过简短描述实现布局感知 3D 室内场景生成
SDesc3D: Towards Layout-Aware 3D Indoor Scene Generation from Short Descriptions
摘要
以简短文本描述为条件的 3D 室内场景生成为交互式 3D 环境构建提供了一条有前途的途径,而无需劳动密集型布局规范。尽管最近在文本条件 3D 场景生成方面取得了进展,但现有的作品在这种语义压缩情况下物理合理性较差,细节丰富度不足,这很大程度上是由于它们依赖于有关组合对象及其空间关系的明确语义线索。这一限制凸显了对增强 3D 推理能力的需求,特别是在先验集成和空间锚定方面。受此启发,我们提出了 SDesc3D,一种短文本条件 3D 室内场景生成框架,它利用多视图结构先验和区域功能含义来实现稀疏文本指导下的 3D 布局推理。具体来说,我们引入了多视图场景先验增强,它通过聚合的多视图结构知识来丰富未指定的文本输入,从不可访问的语义关系线索转变为多视图关系先验聚合。在此基础上,我们设计了功能感知布局基础,采用区域功能基础作为隐式空间锚点,并进行分层布局推理以增强场景组织和语义合理性。此外,采用迭代反射校正方案通过自校正来渐进式结构合理性细化。大量实验表明,我们的方法在短文本条件 3D 室内场景生成方面优于现有方法。代码将公开。