论文

预训练图像匹配器是否足够适合 SAR 光学卫星配准?

Are Pretrained Image Matchers Good Enough for SAR-Optical Satellite Registration?

模型评测模型能力评测

摘要

跨模态光学-SAR(合成孔径雷达)配准是遥感灾害响应的瓶颈。现代图像匹配器几乎完全是在自然图像领域开发和基准测试的。我们在零样本设置中评估了 24 个预训练匹配器配置,没有 微调 或卫星或 SAR 数据的域自适应。该评估涵盖 SpaceNet9 和两个额外的跨模式基准测试,采用确定性协议,该协议使用平铺大图像推理、强大的几何过滤和基于连接点的指标。我们的结果显示迁移不均匀:经过显式跨模式训练的匹配器并不总是优于那些没有经过显式跨模式训练的匹配器。 XoFTR(针对可见热匹配进行训练)和 RoMa 在标记的 SpaceNet9 训练场景上以 3.0像素实现了报告的最低平均连接点误差。 RoMa 实现了这一结果\emph{没有任何跨模式训练}。 MatchAnything-ELoFTR ($3.4$ px),在合成跨模态对上进行训练,紧随其后。 XoFTR 的运行速度也比 RoMa 系列快大约一个数量级(每对 0.4秒 vs 5.0秒)。 RoMa 的性能与冻结 DINOv2 特征赋予大外观变化鲁棒性的假设一致。对于单个匹配器,部署协议选择(几何模型、图块大小、内点筛选)将平均误差更改高达 $33\times$。这种转变可能超过我们评估的协议消融中交换匹配器的效果。单独的仿射几何将平均误差从 12.3像素减少到 9.7像素。