乐高：水平语言高斯泼溅

我们引入乐高来实现高级开放词汇场景理解。除了基本概念识别之外，其核心创新在于捕捉场景中内在的语义层次结构，例如“花盆 -> 花束 -> 花蕾 -> 花瓣”谱系。虽然像 SAM 这样的基础模型可以识别 2D 中的多粒度结构，但它们的分区受到严格的视角限制并且缺乏跨视图共识。乐高自适应地将不稳定的多视图 SAM 粒度重新分级为统一的、3D 一致的层次结构。这为 3D 场景的结构连贯、多级分割提供了精确的监督。通过使用 CLIP 嵌入来奠定这些片段的基础，乐高可以跨层次恢复开放词汇语义逻辑。此外，通过合并空间关系，我们将这些片段提升为逐级语言场景图，有效地使 大语言模型 能够执行复杂的、上下文感知的空间推理和精确的视觉基础。实验结果表明，乐高在可提示和开放词汇的 3D 分割基准上建立了新的最先进的性能，展示了先进的分层场景分解和上下文感知空间推理。