遥感图像语义分割的频率和边缘引导分割 Anything 模型

由于对细粒度土地覆盖信息的需求不断增长，遥感图像语义分割（RSISS）引起了人们的广泛关注。 Segment Anything Model (SAM) 被提出作为基础视觉模型，为 RSISS 任务提供强大的分割性能和泛化能力。然而，现有的基于 SAM 的方法面临两个局限性：（1）SAM 的特征不足以适应土地覆盖类型的不同特征。 (2) 对象边界语义模糊，妨碍准确描绘。为了解决这些限制，我们提出了频率和边缘引导 SAM (FE-SAM)，这是一种可扩展且高效的 RSISS 框架。具体来说，我们引入了一种调频适配器（FMA），它可以根据输入数据自适应地分解和调制频域特征。它有选择地增强与不同土地覆盖类型相对应的信息丰富的高频和低频分量。此外，为了提高 SAM 捕获细粒度细节的能力，我们设计了 EGRefiner，它集成了从输入图像中提取的多尺度边缘增强信息。对三个基准数据集的大量实验表明，FE-SAM 的性能优于最先进的方法。源代码位于：https://github.com/oucailab/FE-SAM。