3D-IDE：3D隐式深度涌现

最近，利用多模态 大语言模型 (MLLM) 中的 3D 信息在室内场景理解方面显示出显着的优势。然而，现有的方法，包括使用显式 真值 3D 位置编码的方法和为隐式几何嫁接外部 3D 基础模型的方法，都难以在 2D-3D 表示融合中进行权衡，从而导致部署不理想。为此，我们提出了 3D-隐式深度涌现（3D-Implicit Depth Emergence），一种将 3D 感知重新定义为源自几何自我监督而不是显式编码的涌现属性的方法。我们的核心见解是隐式几何涌现原则：通过细粒度几何验证器和全局表示约束等机制战略性地利用特权几何监督，我们构建了信息瓶颈。这一瓶颈迫使模型最大化视觉特征和 3D 结构之间的互信息，从而使 3D 意识在统一的视觉表示中自然出现。与现有方法不同，我们的方法使 3D 感知能够隐式出现，解开密集区域中的特征，最重要的是，在零延迟开销的推理过程中消除深度和姿势依赖性。这种从外部嫁接到隐式涌现的范式转变代表了对视觉语言模型中 3D 知识集成的根本性重新思考。大量实验表明，我们的方法在多个 3D 场景理解基准上超越了 SOTA。我们的方法实现了推理延迟减少 55%，同时在不同的下游任务中保持强劲的性能，强调了精心设计的辅助目标对于无依赖性 3D 理解的有效性。源代码可以在 github.com/ChushanZhang/3D-IDE 找到。