论文

用基础模型引导扩散恢复 LiDAR 分辨率

LiDAR Resolution Recovery via Foundation-Model-Guided Diffusion

模型训练监督微调与指令调优

摘要

高光束数 LiDAR 传感器成本高昂,但许多感知管道需要密集的角度采样。我们使用预训练的稳定扩散模型作为 骨干模型,微调是一个 LiDAR 条件深度模型,具有来自 2D 基础模型的伪深度目标。在训练期间,LiDAR 调节在不同的光束预算下随机抽取。然后,我们研究可以从严重抽取的输入中恢复多少 LiDAR 扫描,并表征整个输入光束预算的性能。我们根据 nuScenes 上的物理 保留测试 真实光束进行评估,并与拟合精度分开报告恢复情况。我们的模型在非常稀疏的情况下产生了最大的优势,从 $4$ 波束输入实现了 $66.8$% 的 $δ_{1.25}$ 精度,其中分散插值仅达到 $45.1$%。类分层误差分解进一步表明,平面首先恢复,而引入深度不连续性的物体最早退化。这些结果共同量化了基础模型引导 LiDAR 增强的恢复/分辨率权衡。

用基础模型引导扩散恢复 LiDAR 分辨率:论文原图
图 1:在给定 $8$ 输入激光束(红色)的情况下,与真实标注(黄色)相比,$3$ 融合视图(灰色)的点云空间中模型输出的部分视图。