GaussFusion：迈向多模态 3D 高斯预训练

3D Gaussian Splatting 提供了联合建模几何和外观的显式表示，作为 3D 表示学习的可扩展基础。现有的用于高斯表示的 预训练 方法（例如掩模高斯重建）主要捕获局部结构，但提供有限的语义监督。在本文中，我们提出了 GaussFusion，一种用于 3D 高斯表示的多模态 预训练 框架。 GaussFusion通过跨模态语义对齐将图像和文本监督集成到屏蔽高斯建模中，使高斯编码器能够在预训练期间学习视觉和语言级语义信息。为了更好地使掩模建模适应高斯基元的非均匀分布，我们进一步提出了高斯显着性引导的多尺度孔掩模（GSHM）。 GSHM 基于高斯显着性构建空间连续的掩模区域。通过在多个尺度上应用孔掩模，GSHM 鼓励编码器捕获细粒度的局部模式和更广泛的结构依赖性。对下游任务的大量实验表明，GaussFusion 提高了高斯表示的可转移性。值得注意的是，GaussFusion 在 ModelNet40 和 ScanObjectNN (PB-T50-RS) 上的性能分别优于 Gaussian-MAE 0.61% 和 3.85%。