论文
HIGS:用于联合几何和语义场景理解的分层隐式网格
HIGS: Hierarchical Implicit Grids for Joint Geometric and Semantic Scene Understanding
摘要
神经隐式表示使机器人能够构建连续、可微且高保真的 3D 地图,对场景重建产生了重大影响。大多数现有工作侧重于几何重建,缺乏用于高级空间理解和任务规划的语义信息。此外,随着环境规模和复杂性的增加,神经表示面临着在后端优化中保持计算效率的挑战。为了解决这两个挑战,我们引入了一个分层神经场,它利用多分辨率子图来实现高效且可扩展的隐式表示,以及一个统一的查询和解码机制来支持几何和语义特征。更具体地说,可学习的地图特征可以通过查询和解码过程转换为输出,以进行训练和推理。对于大规模表示,我们将场景分解为重叠的子图,并在每个局部子图内进行分层优化,从而实现可扩展的计算。为了进一步提高效率,我们设计了预测初始分层网格特征的特征编码器,以大大减少从头开始优化子图特征所需的时间。为了纠正子图之间的估计漂移,我们将它们完全对齐并融合在隐式特征空间内,从而通过避免解码最终输出的需要来实现显着的加速。基于这种有效的层次表示,我们将几何特征和视觉语言潜在特征嵌入到地图中,并在符号距离场(SDF)构造和开放词汇对象基础上进行演示。我们的方法显着提高了计算和内存效率,保持了较高的估计精度,并赋予机器人在大规模现实世界基准上的空间意识。