论文
On-the-Fly3R：利用前馈 3R 模型实现大型无人机场景的稳健在线 3D 重建
On-the-Fly3R: Towards Robust Online 3D Reconstruction with Feed-Forward 3R Models for Large-Scale UAV Scenarios
摘要
虽然前馈 3D 重建 (3R) 提供了高效的端到端建模，但其在大规模无人机测绘中的应用受到 Transformer 注意力的过高内存成本的阻碍。当前的可扩展流 3R 方法假设时间和空间上连续的输入，这使得它们对于跨带无人机操作中常见的弱有序或无序图像流无效。为了解决这个问题，我们提出了 On-the-Fly3R，一种 无需训练，用于大规模无人机图像的渐进式在线 3D 重建框架，可升级大型无人机场景的各种 3R 主干网。我们的方法可以通过检索引导的动态子集构建从无序输入中进行重建，从而自适应地选择空间相关图像。为了进一步提高鲁棒性，设计了验证-拒绝-重试机制来保证全局一致性，执行集成前一致性检查并自动拒绝未对齐的图像并使用替代子集重试。最后，受 VSLAM 的启发，采用基于检索闭环的位姿图优化来减轻相机漂移。对多个无人机基准的评估表明，我们的 On-the-Fly3R 成功地将各种 3R 模型扩展到平方公里无人机场景中的 5,000 多张图像，与几种 SOTA 流式 3R 方法相比，提供了显着优越的精度。代码可在 https://github.com/Sh1nZzz/On_the_Fly3R 获取