论文

QGVI:将高斯场景视图组织为可文字检索的定位索引

Queryable Gaussian View Index: Text Retrieval and Selective Camera Localization

应用与实践上下文与知识检索增强视觉感知与空间理解

摘要

我们提出了可查询高斯视图索引(QGVI),用于查询现有高斯场景资产及其相关的校准参考数据。文本视图检索和选择性 RGB 相机定位返回资产坐标系中的位姿。 QGVI-T 将高斯渲染视图转换为场景位置的语言可搜索索引,将结构化描述绑定到已知的相机位姿和地点标识符。语义和词汇检索从不同位置选择视图,无需在线渲染、VLM 调用或特定于场景的位姿网络。图像路径 QGVI-I 使用互不重复的内点查询关键点过滤基于 LoGS 的几何估计。它省略了光度细化并保留了可接受的位姿坐标。在九个开发场景中,QGVI-T 在 Top-1 和 Top-5 联合相关性和有效性方面取得了 58.3% 和 78.3% 的成功率,而我们经过细化的 CityLoC 重新实现的成功率分别为 26.1% 和 34.6%。 QGVI-I 在 1 m/2 度处实现了 97.3% 的场景平均姿态成功率,合并错误接受率和错误拒绝率分别为 0.707% 和 1.142%。成对的缓存评估在此阈值下保留全部1775个在该阈值下原本正确的初始位姿。记录的文本查询延迟中位数为 0.020 秒。匹配的对照显示出有竞争力的 BM25 检索,并且阈值完整 LoGS 的错误接受率略低;网格增强表明新视角衍生的描述有适度的收益。我们将模型判断的语义成功与源相机恢复分开报告,并使用源验证或估计的几何评估尺度。

QGVI:将高斯场景视图组织为可文字检索的定位索引:论文配图
图2:用缓存实例展示QGVI。上方:高斯渲染、图像描述的原文摘录,以及带位姿的索引记录。中间:真实文本查询、混合排序、地点感知选择及返回的五个视图。原始第17与第19名共用一个相机中心;暂缓第19名后,第21名得以进入20视图候选名单。视图/地点标签为显示用别名。下方:SF查询、实际NetVLAD参考、缓存特征匹配的子集、局部SfM地标及接受判定。绿色标记为估计相机;1,561个不同的内点查询关键点支持保留该位姿,18个则导致拒绝另一个Block A干扰项。蓝色和绿色突出索引、选择与门槛。所有图像均为合成场景;可选文本验证不在默认流程内。