OREN-X：用于实时多模态映射的八叉树残差网络

为了实现长视野下的通用自主性，机器人需要维护支持各种任务的空间环境信息：用于规划和控制的几何形状、用于渲染和重新定位的辐射度以及用于开放词汇基础的视觉语言特征。现有方法分别表示和估计每种模态，增加内存和计算成本，同时放弃表示之间的潜在协同作用。我们开发了 OREN-X，一种在线绘图方法，它使用 3D 空间中的八叉树作为共享数据结构来索引和存储多模态字段，捕获几何、辐射和视觉语言信息。 OREN-X 以显式/隐式和完整/压缩的形式提供这些数据的高效统一存储和检索。我们的统一表示产生了跨模态协同作用：SDF 估计通过占用率和辐射度进行锐化，而基于 GPU 的光线八叉树遍历和八叉树查询可实现实时渲染。我们还使用在线字典学习来压缩视觉语言特征，将其缩小到每顶点完整存储的 3.7 倍，同时提高查询准确性。在 Replica 上，OREN-X 实时绘制地图（SDF 为 80+ fps，所有四种模态为 30+ fps），与单模态基线相比，近地表 SDF 精度提高了 33%，与最佳现有方法相比，平均开放词汇 3D mIoU 提高了 71%，平均精度提高了 61%。