论文
GEM-Occ:从视觉几何证据到具体语义占用记忆
GEM-Occ: From Visual Geometry Evidence to Embodied Semantic Occupancy Memory
摘要
语义占用通过联合表示占用区域、观察到的自由空间、未知区域和对象语义,为具体的室内代理提供结构化的空间记忆。然而,现有的室内占用基准和方法主要侧重于单视图预测或房间级在线感知,而跨互联室内空间的长视野语义映射尚未得到充分探索。我们引入了 HIOcc,这是一种分层室内占用基准,它将 ScanNet、ScanNet++ 和 Matterport3D 统一在通用的稀疏语义占用格式下,同时保留其原生观察几何形状,包括透视 RGB-D 框架和全景中心观察组。 HIOcc 支持三种互补的评估机制:本地语义占用预测、房间级在线占用映射以及跨连接全景环境的建筑物级映射。我们进一步提出了 GEM-Occ,一种用于语义占用映射的高斯证据记忆框架。 GEM-Occ 没有使用点图作为持久地图状态,而是将局部视觉几何预测视为瞬态证据,将其转换为语义高斯占用证据和自由空间射线证据,并通过可见性和不确定性感知因果更新将它们融合到持久分层内存中。内存被组织成本地缓存、房间级子图和建筑物级图,并且可以通过高斯到占用splatting随时查询。 HIOcc 上的实验表明,与先前的室内占用率和基于高斯的映射基线相比,GEM-Occ 改进了本地占用率预测、在线地图稳定性、自由空间推理、重访一致性和建筑级可扩展性。