论文

Infra-Bench CLS:使用地球观测基础模型进行关键基础设施分类的全球开源基准

Infra-Bench CLS: A Global, Open-Source Benchmark for Critical Infrastructure Classification with Earth Observation Foundation Models

模型评测基准与评测资源

摘要

Critical infrastructure location data is often incomplete and unevenly distributed globally, especially in developing regions.地球观测基础模型被提出作为一个新的步骤,使我们能够更有效地了解自然和建筑环境,并提出了关于它们在执行具有挑战性的下游任务时的有效性的问题。然而,基础模型在很大程度上尚未经过测试,无法检测和分类支撑一系列重要社会和经济功能的设施规模的关键基础设施。随后,引入了 Infra-Bench CLS 作为基准,在覆盖七大洲和 13 个基础设施类别的 18,756 个 Sentinel-1 SAR 和 Sentinel-2 多光谱设施规模关键基础设施资产图像上测试基础模型,并报告了 10 个保留类别的结果。对两个训练数据集级别(1.0x 和 0.3x)使用线性探测和 微调,评估了七个基础模型(SatlasPretrain S2、SatlasPretrain S1、CROMA、Prithvi-EO-2.0、AlphaEarth Foundations、OlmoEarth v1.1-Base 和 DINOv3 ViT-L/16)。将宏 F1 分数与 39.2% 的 ResNet-18 监督基线进行比较时,最佳基础模型达到了 57.9%,提高了 48%。表现最好的类别是机场(F1 85.3%)、火车站(F1 82.1%)和数据中心(F1 77.6%)。 By contrast, many of the power sector classes perform poorly (F1 27.5-46.2 percent).这些发现表明基础模型可以实现卓越的关键基础设施分类,但未来的工作应该评估更高分辨率图像的性能,特别是对于性能不佳的部门,例如电力。