论文
DRUM:用于 Sim2Real LiDAR 分割的基于扩散的 Raydrop 感知不成对映射
DRUM: Diffusion-based Raydrop-aware Unpaired Mapping for Sim2Real LiDAR Segmentation
摘要
基于激光雷达的语义分割是自主移动机器人的关键组成部分,但激光雷达点云的大规模注释成本高昂且耗时。尽管模拟器可以提供标记的合成数据,但由于数据级域差距,在合成数据上训练的模型通常在现实数据上表现不佳。为了解决这个问题,我们提出了 DRUM,一种新颖的 Sim2Real 翻译框架。我们利用在未标记的现实世界数据上预先训练的扩散模型作为生成先验,并通过再现两个关键测量特征(反射强度和射线滴噪声)来转换合成数据。为了提高样本保真度,我们引入了一种射线滴感知掩模引导机制,该机制有选择地强制与输入合成数据的一致性,同时保留由扩散先验引起的真实射线滴噪声。实验结果表明,DRUM 持续改进了 LiDAR 数据的多种表示形式的 Sim2Real 性能。该项目页面位于 https://miya-tomoya.github.io/drum。