SeeSE3：视觉特征中 3D 空间的出现

在本文中，我们询问视觉基础模型是否构建反映 3D 欧几里德空间内在属性的表示。与之前通过回归以图像为中心的量（例如深度或法线）来探索视觉特征的 3D 感知的工作不同，我们研究了视觉特征空间结构与欧几里得变换组 $SE(3)$ 之间的关系。我们提出了一组探针来从拓扑和几何角度评估这种关系：一个相互邻域度量，用于测量特征邻域和空间拓扑之间的对齐，以及一个庞加莱适配器，用于测试静态场景中潜在位移的相机运动几何的线性可达性。我们表明，原则上没有经过直接 3D 监督或主动代理训练的自监督视觉模型，在正确探测时拥有与三维欧几里德空间显着相关的潜在子空间。基于这一见解，我们提出了一类新的“潜在空间导航”技术，该技术纯粹在潜在空间中执行视觉测距和定位，绕过了显式 3D 重建的需要。