论文

OutLangSplat:无人机户外场景的 3D 语言高斯泼溅

OutLangSplat: 3D Language Gaussian Splatting for UAV Outdoor Scenes

应用与实践视觉感知与空间理解

摘要

3D Language Gaussian Splatting 将开放词汇语言特征嵌入到 3D Gaussian Splatting 中,为文本驱动的 3D 场景理解提供有效的显式表示。然而,现有的方法仅限于室内或小规模场景,并且在无人机(UAV)室外场景中往往会失败,其中严重的遮挡和长距离视点往往会导致不正确的语义激活和丢失目标响应。在本文中,我们提出了 OutLangSplat,它通过改进特征表示和聚合可靠性,使语言高斯表示适应无人机室外场景。对于特征表示,设计了具有基于区域的对齐和融合的 2D-3D 双分支表示,以提高空间一致性,减少不完整的目标响应和背景误激活。对于特征聚合,我们引入了 无需训练 贡献和一致性感知高斯特征聚合策略,该策略利用像素贡献可靠性和跨视图语义一致性来抑制来自噪声视点的不可靠响应。通过在四个真实世界公共无人机室外场景数据集上手动注释各种对象来提供新的数据集。据我们所知,这是第一个可访问的无人机户外场景开放词汇 3D 场景理解数据集。定量评估和消融研究表明,OutLangSplat 在开放词汇语义分割和实例定位任务上均优于 SOTA 方法。数据集和代码将开源。