论文

VERIA:用于长尾 3D 对象检测的以验证为中心的多模态实例增强

VERIA: Verification-Centric Multimodal Instance Augmentation for Long-Tailed 3D Object Detection

模型训练合成数据

摘要

驾驶数据集中的长尾分布对 3D 感知提出了根本性挑战,因为稀有类别表现出大量的类内多样性,但可用样本仅稀疏地覆盖了该变化空间。现有的基于复制粘贴或资源库的实例增强方法改善了稀有类的暴露,但通常在细粒度多样性和场景上下文放置方面受到限制。我们提出了 VERIA,一种图像优先的多模态增强框架,它使用现成的基础模型合成同步 RGB-LiDAR 实例,并通过顺序语义和几何验证来管理它们。这种以验证为中心的设计倾向于选择与真实 LiDAR 统计数据更好匹配的实例,同时涵盖更广泛的类内变化。阶段式产量分解提供了基于日志的管道可靠性诊断。在 nuScenes 和 Lyft 上,VERIA 改进了仅 LiDAR 和多模态设置中的罕见 3D 物体检测。我们的代码可在 https://sgvr.kaist.ac.kr/VERIA/ 获取。