Tetris3D：生成能相互配合的三维场景物体

摘要

我们提出了 Tetris3D，这是一种用于单图像 3D 场景重建的生成框架，可恢复作为场景的物理和几何连贯的对象。现有方法通常独立生成对象或隐式耦合它们，为确保彼此交互的相邻对象之间的细粒度空间兼容性提供有限的指导。为了解决这个问题，我们明确地根据周围对象的几何形状及其物理关系来生成每个对象，指导其形状和姿势在场景中保持几何和物理上的合理性。此外，我们还引入了 ComOb，这是一个基于物理模拟的数据集，包含 120 万个场景，具有跨不同对象类别的物理交互，以及每个对象的网格和成对的物理关系注释。对合成场景和真实世界场景的综合实验表明，即使交互区域被遮挡，Tetris3D 也能恢复连贯的物体形状和姿势，并在生成质量和物理稳定性方面实现了最先进的性能。

Tetris3D：生成能相互配合的三维场景物体：论文原图 — 图 2：Tetris3D 概述。 Tetris3D 按照由 VLM 推断的物理关系和依赖关系确定的拓扑顺序自回归重建场景（第 3.5 节）。每个对象都是通过由稀疏结构和结构化潜在生成组成的两阶段管道生成的，每个 DiT 中有两个关键组件：（1）每个Token注入（第 3.2 节）：我们从深度图导出 cdepthc_{\text{depth}}，从反向投影图像特征导出 cimgc_{\text{img}}，从用于生成的同一 3D 网格上的对象交互导出 cintc_{\text{int}}，并将这些条件注入到相应的Token。 (2) V2I Attention（第 3.3 节）：由对象掩码识别的不可见标记通过交叉注意来关注可见标记，使用聚合信息来完成遮挡区域。