FlatVPR:即插即用的几何线性残差适配器,用于基础模型特征流形的几何校正
FlatVPR: Plug-and-play Geo-linear Residual Adapter for Geometric Rectification of Foundation Model Feature Manifolds
摘要
本文提出了“FlatVPR”,一种新颖的几何校正范式,通过强制执行特征流形结构,有效地弥合了视觉位置识别(VPR)中地图轻量级和定位精度之间的权衡,其中两个相邻锚点 $\mathbf{z}_A$ 和 $\mathbf{z}_B$ 之间的任何描述符都可以通过线性插值精确重建 $\hat{\mathbf{z}}_{pseudo} = (1-t)\mathbf{z}_A + t\mathbf{z}_B$,其中$t \in [0,1]$表示相对位置。虽然 DINOv2-ViT-S/14 等最先进的基础模型提供了强大的语义特征,但它们的潜在流形表现出显着的曲率,将物理空间中的均匀线性运动投影到特征空间中的高度非线性轨迹上,这阻碍了稀疏锚条件下的可靠重建。为了实现上述基于插值的重建,我们将残差变换 $\hat{\mathbf{z}} = \mathbf{z} + \text{Res}(\mathbf{z})$ 引入到原始基础特征 $\mathbf{z}$,其中 $\text{Res}(\cdot)$ 表示可学习的适配器。我们的方法使用数学基础的回拉平坦度损失显式地抑制流形曲率,该损失最小化中间特征与连接相邻锚点的线性段的偏差,从而最小化流形的固有曲率。通过这种空间扁平化,地图构建在期望最大化(EM)框架内制定,解耦为用于流形适应的连续 M 步骤和用于最佳锚点选择指南的概念 E 步骤。在 NCLT 数据集上的实验表明,即使在 100m 间隔的极其稀疏的锚条件和极端的季节变化下,我们的适配器的应用也能带来显着的性能提升。