论文

RayLift:利用 3D 几何先验提升互补的光线证据以完成语义场景

RayLift: Lifting Complementary Ray-Wise Evidence with 3D Geometry Priors for Semantic Scene Completion

应用与实践视觉感知与空间理解

摘要

基于摄像头的 3D 语义场景完成 (SSC) 为自动驾驶和机器人技术提供全面的场景理解。然而,现有方法通常将立体深度估计视为确定性几何约束,导致深度不确定性和局部对应误差直接传播到体素表示中。为了解决这个问题,我们提出了 RayLift,这是一个使用立体几何作为度量参考的框架,同时结合互补的光线证据来自适应地恢复可靠的 3D 结构。 RayLift 首先采用互补上下文编码器,从冻结的 3D 视觉基础模型中提取几何感知先验,从而丰富场景上下文。然后,它引入了深度射线证据提升器模块,该模块对几何差异、深度置信度和空间不确定性进行联合建模,以沿每条相机射线自适应地采样和加权候选表面位置。最后,语义感知体素积分器通过显式建模其空间支持,将生成的射线证据注入到体素特征中。 SemanticKITTI 和 SSCBench-KITTI-360 上的大量实验表明,RayLift 实现了有竞争力的性能,并且始终优于现有方法。