自监督几何学习在3D表示中施加非对称并对齐冻结视觉特征

自监督学习依赖于模型观察到的内容和它必须解释的内容之间的不对称。最近的方法通过预测相机和场景结构，然后渲染保留的视图，从未标定相机位姿的图像中学习 3D 几何。为了避免琐碎的解决方案，他们在输入空间中强加了这种不对称性，限制了视图如何通过单独的分支或屏蔽注意力进行交互。我们以几何精度而不是渲染质量作为主要目标重新审视这一设计。当保留视图位于上下文视图之间时，上下文已经约束了它观察到的几何图形。因此，我们在 3D 表示空间中施加不对称性，仅从重建场景中排除保留的视图，而共享主干则使用所有视图进行对应。相比在输入空间施加不对称性的设计，这改善了深度和位姿估计。我们进一步利用视图密度：稀疏和密集的观察描绘了相同的场景，但提供了不同数量的对应。将稀疏上下文特征与密集上下文特征对齐可以在渲染的同时提供几何训练信号，而无需预先训练的几何教师。我们还将特征与冻结的视觉基础模型进行对齐，这带来了进一步的收益。这些信号都不需要几何注释，并且所得模型比之前的自监督方法改进了几何估计。受控实验隔离了每个组件的贡献，自监督预训练也改善了后续的监督训练。