通过协作细粒度细化使 SAM 适应核实例分割和分类

细胞核实例分割对于癌症诊断和预后的计算病理学至关重要。最近，Segment Anything Model 在各种分割任务中展示了卓越的性能，利用其丰富的先验和强大的全局上下文建模功能，这些功能源自自然图像上的大规模 预训练。然而，直接将 SAM 应用于医学成像领域面临着巨大的局限性：它缺乏对细胞核分割至关重要的局部结构特征的足够感知，并且用于下游任务的完整 微调 需要大量的计算成本。为了有效地将 SAM 强大的先验知识转移到核实例分割，同时补充其任务感知局部感知，我们提出了一个参数高效的 微调 框架，名为 SAM 的协作细粒度细化，由三个核心组件组成：1）多尺度自适应局部感知适配器，它通过用最少的参数增强冻结的 SAM 主干并通过动态生成的多尺度灌输对局部结构的强大感知来实现有效的能力传输。卷积核； 2）分层调制融合模块，动态聚合多级编码器特征以保留细粒度的空间细节； 3）边界引导掩模细化，通过显式监督将多上下文边界线索与语义特征集成在一起，产生以边界为中心的信号来细化初始掩模预测，以实现更清晰的描绘。这三个组件协同工作，增强局部感知、保留空间细节并细化边界，使 SAM 能够直接执行准确的核实例分割。