论文
OccAny:广义无约束城市 3D 占用
OccAny: Generalized Unconstrained Urban 3D Occupancy
摘要
现有的 3D 占用预测方法依赖于域内注释和精确的传感器装备先验,在可扩展性和域外泛化方面都受到限制。虽然最近的视觉几何基础模型表现出强大的泛化能力,但它们主要是为通用目的而设计的,缺乏城市占用预测所需的一个或多个关键要素,即度量预测、杂乱场景中的几何补全以及对城市场景的适应。我们解决了这一差距并提出了 OccAny,这是第一个无约束的城市 3D 占用模型,能够在域外未校准场景上运行,以预测和完成与分割特征相结合的度量占用。 OccAny 用途广泛,可以根据顺序图像、单目图像或环视图像预测占用情况。我们的贡献有三方面:(i) 我们提出了第一个广义 3D 占用框架,其中 (ii) 分段强制可提高占用质量,同时实现掩模级预测,以及 (iii) 新视图渲染管道,可推断新视图几何形状,以实现几何完成的测试时视图增强。大量实验表明,OccAny 在 3D 占用预测任务上优于所有视觉几何基线,同时在两个已建立的城市占用预测数据集上的三种输入设置上与域内自监督方法保持竞争力。我们的代码可在 https://github.com/valeoai/OccAny 获取。