论文

PARC-Loc以关系一致性匹配和跨边界证据改进文本到点云定位

PARC-Loc: Text-to-Point-Cloud Localization with Partial Assignment and Relational Consistency

应用与实践上下文与知识检索增强视觉感知与空间理解

摘要

文本到点云定位根据周围物体的描述,估计城市级三维地图中的位置。已有由粗到细的方法先用聚合的学习兼容性检索子地图,再在所选子地图内定位。但重复或相似的城市物体会抬高查询与多个子地图的嵌入相似度,即使其中的实例布局不符合描述。同时,查询相关实例往往跨越子地图边界,导致检索结果缺少完整上下文。我们分别将这两种失败称为布局不一致混淆和边界证据不完整。为此提出PARC-Loc,一种以关系一致性部分分配(PARC)为核心的由粗到细定位框架。PARC联合建模提示—物体兼容性与成对空间关系,允许部分元素不匹配,同时偏好符合查询布局的分配。粗定位阶段,它在候选层的评估补充神经相似度,用于选择布局一致的子地图;精定位阶段,从相邻子地图补充查询相关实例,PARC给出的物体级匹配权重引导跨模态注意力。在KITTI360Pose和CityLoc上的广泛实验表明,PARC-Loc优于常规由粗到细基线。在KITTI360Pose上,Top-1、5米阈值定位召回率从0.50提高到0.67,相对最强基线提高34%。

PARC-Loc以关系一致性匹配和跨边界证据改进文本到点云定位:论文原图
图 3:PARC-Loc 概述。在粗略阶段,通过部分分配显式评估提示和每个子图之间的关系一致性,以产生可靠的子图选择。在精细阶段,相邻对象聚合首先使跨边界上下文可用;然后重新应用 PARC 来生成在偏移预测之前偏置交叉注意力的对象权重。