HARMONY：单目图像到场景合成的分层代理推理

最近从两个方向探索了组合 3D 场景重建：代理推理，提供对空间关系的语义理解，但缺乏与输入图像的精确对齐；和视觉几何基础模型，从输入图像预测密集点图，但重建质量有限。因此，从单个单目图像中恢复具有准确的对象间关系和高保真重建质量的完整 3D 场景仍然具有挑战性。在本文中，我们提出了 HARMONY，一个利用代理推理和视觉几何基础的分层思想链框架。给定室内场景的图像，从空的 3D 平面图开始，HARMONY 首先根据参考图像校准相机，以建立基于语义的空间框架，然后使用代理 VLM 推理来恢复 3D 房间布局和初始放置顺序。然后，它将对象按层次顺序放置，从壁挂式元素、独立式家具到家具顶部的附属装饰。我们还对家具使用深度优先遍历，因此每个放置条件都基于先前解析的结构和反射反馈循环，以避免错误累积。在通过 VLM 放置每个对象后，我们使用点云估计来执行基于几何的细化，以便渲染图像与输入更好地对齐。 HARMONY 可以生成语义一致、感知上与参考图像一致的 3D 场景，将单图像合成重建扩展到复杂的室内场景图像。对合成图像和真实世界图像的实验表明，HARMONY 优于评估的重建基线，而与 GPT-6 Astra 的定性比较表明更忠实的对象排列和更好的场景细节保留。