论文

OccAnyScene:迈向统一的室内外 3D 占用预测

OccAnyScene: Towards Unified Indoor-Outdoor 3D Occupancy Prediction

应用与实践视觉感知与空间理解

摘要

3D 占用预测是场景理解的基础,但现有的 3D 语义占用方法通常专门用于固定场景类型和占用协议。我们引入了跨场景 3D 语义占用预测,这是一种新的任务设置,需要单个模型来处理具有不同摄像机、空间范围、体素规范和语义分类法的异构室内和室外场景。这种设置提出了一个根本性的挑战:在不同的相机配置和场景比例下实现度量一致且场景自适应的图像到 3D 提升。为了应对这一挑战,我们提出了 OccAnyScene,这是一个基于预训练深度基础模型构建的以像素截头体为中心的高斯框架。具体来说,该框架采用像素对齐平截头体特征聚合为每个特征像素构建相机感知的平截头体查询,并采用平截头体参数化高斯构造将每个查询解码为多个高斯,其位置和大小受到预测像素深度和相应平截头体几何形状的约束。 OccAnyScene 创下了新的最先进结果,在室内 Occ-ScanNet 上实现了 59.92% mIoU,在室外 SurroundOcc-nuScenes 上实现了 23.06% mIoU。