基于 VLM 的 3D 室内场景生成的全局图验证优化

我们研究开放词汇 3D 室内布局生成，它使用自由格式语言指令从未标记的 3D 资产中合成多样化且物理上合理的场景。最近的方法利用 大语言模型 (LLM) 和视觉语言模型 (VLM) 从文本生成结构化场景。然而，大多数模型资产间关系隐式地或依赖于局部成对约束和局部优化。这些公式与全局、高度非凸的布局空间不太一致，通常会产生局部合理但全局不一致或物理上不可行的场景。我们通过基于图的中间表示来解决这个问题，该中间表示将语义一致性与物理可行性分开，并结合混合搜索和细化策略。首先，全局语义验证（GSV）将场景表示为结构化图，并通过基于规则的验证强制执行语义约束。这种显式验证消除了矛盾的配置并产生了全局一致的语义支架。其次，全球物理可行性搜索（GPFS）将全球探索的进化搜索与局部开发的基于梯度的细化相结合。它减少了对 VLM 提出的初始化的依赖，并提高了非凸和不连续可行空间中的鲁棒性。 GSV 和 GPFS 共同推动布局生成超越局部关系建模和初始化敏感优化，转向全局一致的推理和搜索。实验表明，我们的方法在开放词汇 3D 室内布局生成方面实现了最先进的性能，提高了语义一致性和物理合理性。