使用 Co-蒸馏 发现和双制导稳健训练进行开放词汇 3D 物体检测

最近，开放词汇 3D 对象检测 (3D-OVD) 因其检测 3D 场景中看不见的对象的能力而受到越来越多的关注。现有方法通常采用两阶段管道，首先使用基础模型发现新对象，然后基于这些发现的对象训练 3D-OVD 模型。尽管有效，但该管道在发现阶段经常会遇到定位不准确和分类不匹配的问题，从而限制了 模型训练 阶段的性能。为了解决这些限制，我们主张提高新对象发现的可靠性和 模型训练 的鲁棒性，并提出一个创新框架。具体来说，为了可靠的发现，我们的 co-蒸馏 策略通过在综合评分上应用匈牙利匹配来提取高质量的新颖对象，该综合评分包含几何一致性、结构客观性和语义确定性。为了增强 模型训练 的鲁棒性，我们进一步提出了一种双引导学习方案，结合了回归头的场景感知引导的不确定性正则化和分类头的 LLM 引导的分层对齐，有效减轻了不精确的 3D 边界框和语义模糊的负面影响。在 SUN RGB-D 和 ScanNetV2 上进行的大量实验表明，我们的方法比最先进的方法取得了显着的性能提升。代码可在 https://github.com/shangboyuan/Co-3DGT 获取