论文

OP3DSG:真实世界环境的开放词汇部分感知 3D 场景图生成

OP3DSG: Open-Vocabulary Part-Aware 3D Scene Graph Generation for Real-World Environments

应用与实践视觉感知与空间理解

摘要

3D 场景图 (3DSG) 提供 3D 环境的紧凑且结构化的抽象。尽管基础模型的进步已经实现了开放词汇 3DSG 的生成,但现有方法仍然以对象为中心并编码有限的关系信息 - 限制了它们在需要细粒度理解的现实场景中的适用性。我们提出了 OP3DSG,一种开放词汇、部分感知的 3DSG 生成框架,它构建统一的图,对对象、交互部分、空间关系、功能关系和可供性进行联合建模。 OP3DSG 将对象部分知识引导检测与部分感知 3D 融合相结合,以保留小型且交互相关的组件,并采用几何初始化先验图和基于 LLM 的细化,以减少虚假关系预测,同时实现高效的图构建。为了系统地评估统一的 3D 场景图构建,我们引入了 UniGraph3D,这是一个专为零件感知感知和多级关系推理而设计的基准。实验结果表明,OP3DSG 实现了最先进的性能,并证明了其作为各种现实世界机器人任务中的感知骨干的有效性。