通过自蒸馏生成多视图几何

一个多世纪前，亨利·庞加莱认为，静止的观察者无法获得空间的概念。然而，大多数视觉表示学习方法都对单个图像进行操作，而那些利用多个视图的方法则依赖于 RGB 重建，将几何与外观纠缠在一起。我们提出了 Poincar3，一种自监督方法，通过自蒸馏而不是 RGB 重建来学习多个视图的表示。我们将遮罩补丁和图像级蒸馏与观察其他视图的教师相结合，从而无需明确的 3D 监督即可从头开始训练。 Poincar3 在对应估计、相机姿态估计和 3D 重建方面优于以前的单视图和多视图自监督方法，例如 DINOv3、MuM 和 Muskie。使用轻量级庞加莱适配器，我们还发现我们学习的特征比现有的自我监督表示更准确地编码相机运动。