论文

CRISP:通过扩散解码修复潜在 LiDAR 生成中的飞行像素

CRISP: Fixing Flying Pixels in Latent LiDAR Generation via Diffusion Decoding

模型训练应用与实践监督微调与指令调优视觉感知与空间理解

摘要

潜在 LiDAR 管道受到飞像素的影响:卷积 VAE 模糊了尖锐的径向深度不连续性,产生的边缘深度反向投影到表面之间浮动的点。我们将其确定为主要的、可直接纠正的解码器瓶颈,并引入 CRISP:具有与主干无关的潜在适配器、基于 DiT 的降噪器和支持掩模预测器的像素空间扩散解码器。 CRISP 取代了视频 VAE 和 LiDAR 原生解码器,同时保持编码器和潜在生成器固定。在 KITTI-360、SemanticKITTI 和 nuScenes 中,仅更换解码器可使 FSVD/FPVD 在冻结主干上平均降低 50.5%;对于通用视频 VAE,降低幅度达到 71%/74%。在 LiDAR 原生 LiDM 主干上,FRID 下降了 71%,其中深度不连续处的增益最大。在预训练的 LiDM 世界模型中,相同的零样本替换将 FSVD 提高了 15.5%,缩小了模拟与真实的差距。