论文

CoCam4D:用于仅摄像头自动驾驶的几何感知协作 4D 感知

CoCam4D: Geometry-Aware Cooperative 4D Perception for Camera-Only Autonomous Driving

应用与实践机器人视觉感知与空间理解

摘要

由于遮挡、盲点、有限的传感器范围以及周围环境的复杂性,自动驾驶车辆的感知能力常常受到限制。多智能体协作感知(CP)通过允许车辆共享感知信息并协作重建场景来解决这些挑战。然而,仅使用相机的感知仍然从根本上受到距离相关的单目深度估计的不确定性的限制。我们提出了 CoCam4D,这是一种用于协作感知的贝叶斯框架,可以显式地模拟几何不确定性。它使用基于 VGGT 的前馈网络来生成具有相关不确定性估计的 3D 高斯场景表示,使多个车辆或代理能够有效地组合其观察结果。通过共享紧凑的高斯原语,一个代理的可靠观测可以减少另一个代理的深度不确定性,而无需激光雷达传感器。为了支持实际部署,我们引入了动态对象基元 (DOP),这是一种紧凑的 35 字节表示形式,专为高效 C-V2X 通信而设计。广泛的 实验表明,我们提出的方法始终优于最近的仅视觉方法,在 OPV2V+ 上实现了 11.48% 的改进,在 DAIR-V2X-C 上实现了 10.62% 的改进,展示了基于几何的协作感知在无 LiDAR 自动驾驶中的潜力。