用于手术器械分割的 SAM 分层原型内存适应

手术器械分割 (SIS) 是计算机辅助手术的基础，可靠的器械掩模可以实现精确的场景理解和临床协助。最近，通过即时学习将分段任意模型 (SAM) 等基础模型应用到外科领域已显示出令人鼓舞的结果。然而，这些适应模型在具有挑战性的手术条件下的性能受到次优适应机制的限制。具体来说，纯粹通过下游分段损失来优化提示或原型往往会导致它们退化为特定于任务的参数，而不是充当持久、稳定的类别记忆，从而降低了它们针对复杂的术中变化的鲁棒性。此外，通过单一提示路径路由多尺度视觉线索会产生阻碍有效尺度匹配耦合的瓶颈。为了解决这些限制，我们提出了 HPMA，一种 SAM 的分层原型内存适应框架。具体来说，HPMA 从带注释的手术场景构建了一个冻结的、多尺度的视觉原型存储库，并使用轻量级适配器将其集成到 SAM 的特征空间中，以保留稳定的类别证据。为了最大化多尺度线索的效用，我们引入了一种尺度匹配的耦合机制，其中全局原型校准类级提示特征，结构原型指导解码器对象查询，局部原型通过局部对齐目标对齐高分辨率特征图。对公共 EndoVis2017 和 EndoVis2018 数据集的大量实验表明，我们的方法实现了最先进的性能，优于现有的基础模型自适应方法。