论文
G2G:利用组内几何进行组间姿态估计
G2G: Exploiting Intra-Group Geometry for Inter-Group Pose Estimation
摘要
恢复两个图像组之间的相对 6-DoF 位姿是跨序列重定位和多摄像机装备里程计的基础。每个组都携带来自视觉里程计或装备校准的已知组内几何形状,并且预训练的多视图主干已经将这些几何形状融合到视觉特征中。然而,当前的模型将所有视图视为非结构化集合,从而使跨群体推理成为缺失的部分。我们引入了 G2G,它使基础模型完全冻结,并添加了三个轻量级可训练模块来桥接两个组:一个感知器重采样器、一个具有合并自注意力的跨组桥和一个多帧姿势头。可训练足迹总计约 32M 个参数,不到完整模型的 6%,并且仅由相对姿势进行监督。在涵盖室内和室外模拟、现实世界跨季节捕捉和零样本模拟到真实转换的四个数据集中,G2G 在这两项任务上都达到了最先进的精度,同时可训练的基线通过其原始监督进行了重新训练。代码和可视化:https://github.com/WeiYuFei0217/G2G。