论文

Sat3R:通过 RPC 感知深度进行卫星 DSM 重建 微调

Sat3R: Satellite DSM Reconstruction via RPC-Aware Depth Fine-tuning

模型训练监督微调与指令调优

摘要

根据卫星图像重建准确的数字表面模型 (DSM) 对于灾害响应、城市规划和大规模地理测绘等应用至关重要。现有方法面临着一个基本的权衡:基于优化的方法实现了很高的准确性,但需要数小时的每个场景计算,而可泛化的几何基础模型提供近乎即时的推理,但由于有理多项式相机(RPC)模型引入的域间隙和不匹配的深度尺度分布而无法泛化到卫星图像。我们提出了 Sat3R,这是一个前馈框架,它通过使用尺度不变对数 (SiLog) 损失的 Depth Anything V2 的 RPC 感知度量深度 微调 来弥补这一差距。通过从 RPC 几何构造物理一致的伪深度监督,Sat3R 将单目深度基础模型适应卫星域,而无需按场景优化。 DFC2019 基准测试表明,与零样本前馈基线相比,Sat3R 将 MAE 降低了 38%,并实现了与基于优化的方法相比具有竞争力的精度,同时提供超过 300 倍的加速。 Sat3R 证明,前馈模型在适当适应卫星领域时,可以以一小部分计算成本匹配基于优化的精度,为实际的大规模卫星 DSM 重建铺平道路。