论文

观察快与慢:开放集任务的双峰 3D 场景图

Seeing Fast and Slow: Bimodal 3D Scene Graphs for Open-set Tasks

摘要

当机器人探索环境时,根据上下文和不断变化的信息,在粗略和精细场景表示之间无缝切换,开放集任务执行可以显着受益。例如,最初从粗略的场景表示开始通常就足够了,只有当机器人遇到可能包含任务相关对象的区域时才采用更精细、更细粒度的场景表示。因此,在这项工作中,我们提出了 BiMoSG,一种用于开放集任务的双模态 3D 场景图生成方法。 BiMoSG 默认采用“快速”模式来有效生成粗略的 3D 场景图,并且可以切换到“慢速”模式来生成任务相关对象的更精细的开放词汇 3D 场景图。我们证明了我们提出的 3D 场景图生成方法比开源的最先进方法要快得多。这使我们能够将场景图生成过程与任务执行集成起来以进行实时部署。