论文
Geo-EVS：自动驾驶的几何条件外推视图合成
Geo-EVS: Geometry-Conditioned Extrapolative View Synthesis for Autonomous Driving
摘要
外推式新颖视图合成可以通过从异构传感器生成标准化虚拟视图来减少自动驾驶中对摄像头装备的依赖。现有方法会在记录的轨迹之外降级，因为外推姿势提供的几何支持较弱并且没有密集的目标视图监督。关键是在训练过程中明确地将模型暴露给轨迹外条件缺陷。我们提出了 Geo-EVS，一种稀疏监督下的几何条件框架。 Geo-EVS 有两个组件。几何感知重投影 (GAR) 使用微调的 VGGT 来重建彩色点云，并将其重新投影到观察到的和虚拟的目标姿势，生成几何条件图。这种设计统一了训练和推理之间的重投影路径。伪影引导潜在扩散 (AGLD) 在训练期间注入重投影衍生的伪影掩模，以便模型学会在缺少支持的情况下恢复结构。为了进行评估，当密集外推视图 真值 不可用时，我们使用 LiDAR 投影稀疏参考 (LPSR) 协议。在 Waymo 上，Geo-EVS 提高了稀疏视图合成质量和几何精度，尤其是在高角度和低覆盖范围的设置中。它还改进了下游 3D 检测。