论文

Mira-Scene:用于生成 3D 场景重建的像素对齐布局

Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene Reconstruction

应用与实践视觉感知与空间理解

摘要

单图像 3D 对象生成现在可以生成高保真资产,但将它们准确地放置到连贯的场景布局中仍然是一个开放的挑战。一个主要困难在于如何表示对象布局。整体方法将放置吸收到场景级生成过程中,牺牲了对象级细节。组合方法通过将几何图形与布局解耦来保持对象保真度,但通常将布局参数化为稀疏、无界的姿态变量,这些变量在稀缺的场景级监督下难以学习和泛化。我们提出了 Mira-Scene,一种组合 3D 场景重建框架,用密集、有界对应恢复取代稀疏姿态回归。其核心是规范坐标图 (CCM),这是一个像素对齐字段,它将每个可见对象像素映射到对象有界规范空间中的表面坐标。当与单目几何估计中的场景空间点云图 (PCM) 配对时,CCM 会产生密集的规范到场景的对应关系,通过稳健的几何对齐从中恢复对象变换。由于 CCM 在有界规范空间中运行,因此它提供了稳定的预测目标,可以根据可扩展的对象级 3D 数据进行训练,而无需场景级布局注释。 Mira-Scene 进一步引入了多模态扩散转换器,该转换器联合生成对象几何图形和 CCM,使用具有共享注意力和位置编码的特定模态专家流来促进几何布局一致性。室内、室外、合成和野外场景的实验表明,Mira-Scene 在布局精度方面大大优于强大的基线,使用有限的开源训练数据,在 3D-IoU 中相对于 SAM3D 实现了 39.8% 的相对增益,在 2D-IoU 中实现了 16.5% 的相对增益。