通过几何效用评分加速基于 Transformer 的单目 SLAM

几何基础模型 (GFM) 最近通过提供强大的、免校准的 3D 先验来改进单目 SLAM。然而，在密集视频流上部署这些模型会带来显着的计算冗余。当前基于 GFM 的 SLAM 系统通常依赖于事后关键帧选择。因此，他们必须执行昂贵的密集几何解码来确定帧是否包含新颖的几何形状，从而导致后期拒绝和浪费计算。为了缓解这种低效率，我们提出了 LeanGate，一种轻量级前馈帧门控网络。 LeanGate 会预测几何效用分数，以在繁重的 GFM 特征提取和匹配阶段之前评估帧的映射值。作为预测性即插即用模块，我们的方法绕过了 90% 以上的冗余帧。对标准 SLAM 基准的评估表明，LeanGate 将跟踪 FLOP 减少了 85% 以上，并实现了 5 倍的端到端吞吐量加速。此外，它保持了密集基线的跟踪和映射精度。项目页面：https://lean-gate.github.io/