使用 Vision Foundation 模型根据 RGB 图像进行洪水测绘

及时绘制定居点周围洪水范围的高分辨率地图对于应急响应和损失评估至关重要。我们考虑将机载 RGB 图像用于洪水测绘，因为它可以以低成本快速收集。为了生成洪水图，通常使用水体分割的深度学习模型。使用基于 CNN 的小视觉 Transformer 模型。然而，他们需要大量数据来适应风景的变化，即另一次洪水事件。众所周知，视觉基础模型或大视觉 Transformer 可以跨领域泛化。最近，地球观测的基础模型已经可用。它们是根据卫星数据进行预训练的，卫星数据的空间分辨率、观察几何和辐射测量与最低点 RGB 图像不同。因此，需要适应。我们研究了卫星预训练的地球观测基础模型如何适应 RGB 图像的厘米级洪水测绘。具体来说，我们微调了一个称为 Prithvi-2.0-UPN 的模型，该模型由 Prithvi-EO-2.0-600M Vision Transformer 与 UPerNet 解码器相结合，用于在两个 RGB 数据集（BlessemFlood21、NeuenahrFlood）上进行二进制水分割。在第一个实验中，我们观察到 Prithvi-2.0-UPN 在 BlessemFlood21 和 NeuenahrFlood 的数据集上进行训练时达到了最先进的结果。在第二个实验中，我们表明，在零样本设置下，Prithvi-2.0-UPN 在转移到新洪水事件（在 BlessemFlood21 上训练，在 NeuenahrFlood 上测试）方面比最先进的基线模型表现更好。然而，性能表明还有改进的空间。在这方面，我们在第三个实验中研究了当进一步 微调 具有少量 NeuenahrFlood 训练数据的模型时性能如何提高：Prithvi-2.0-UPN 提高最快，几乎达到了在 NeuenahrFlood 上完全训练时的性能水平，表明传输能力。