用于高效月球 3D 重建的几何基础模型 蒸馏

MASt3R 等大型 3D 基础模型可实现最先进的立体重建，但在严格的硬件限制下部署需要计算能力，这是行星探索等领域的一个关键限制，在这些领域，机载计算受到严格限制。我们使用月球立体重建作为具有挑战性且实际相关的案例研究，研究通过 知识蒸馏 可以将此类模型压缩到何种程度。从对月球图像进行微调的 688M 参数 MASt3R 教师开始，我们将其密集的几何预测提炼为一系列涵盖不同编码器类型（CNN 与 ViT）、解码器宽度和深度以及训练策略的轻量级学生。为了弥合教师和学生之间的维度不匹配，我们提出了一种基于结构化 SVD 的初始化，将教师的解码器权重投影到学生较小的潜在空间中，从而产生一个显着提高收敛和最终性能的热启动。根据我们在月球数据上的结果，我们可以获得一个蒸馏学生，它保留了大部分教师的重建精度，同时将模型大小减少了多达 7 倍，甚至优于直接使用稀疏 真值 注释训练的基线。除了压缩之外，我们的研究还强调了提取几何基础模型的原理和实践见解：卷积编码器的性能低于基于 Transformer 的替代方案（尽管预训练可用性仍然是一个混杂因素），保留编码器容量比维护大型解码器更重要，特征级 蒸馏 始终优于仅输出监督，并且基于 SVD 的初始化提高了优化稳定性。这些发现为在资源有限的环境中部署 3D 重建模型提供了实用指南。