通过 2D 基础模型的贝叶斯反演进行轻量级 3D 特征预训练

我们提出了 Casper3D，一个轻量级概率框架，用于将嘈杂的多视图 2D 基础模型嵌入转换为潜在的 3D 语义表示。我们将视图级语义特征建模为底层 3D 语义状态的噪声观察，并使用基于集合的变分模型推断该状态，该模型在多视图推理期间结合了相对姿势。 Casper3D 的训练方式是从新的视角预测保留的语义观察结果，同时保持与视觉和文本语义空间的一致，以实现开放词汇 3D 理解。该框架与主干网络无关，适用于语言对齐和自我监督的嵌入。实验表明，Casper3D 比简单的多视图池化产生更稳定的 3D 语义，尤其是在模糊和嘈杂的环境中。