Lean-SAM2：SAM2 的目标锚定内存和编码器加速

Segment Anything Model 2 (SAM2) 具有先进的时间提示分割，但其部署仍然受到大量内存交叉注意开销和冗余全帧视觉特征提取的阻碍。虽然最近的方法通过启发式内存修剪和基于窗口的稀疏路由来探索效率，但它们通常在充满遮挡和干扰的复杂分割场景中遭受灾难性的性能下降。为了解决这些限制，我们提出了 \textbf{Lean-SAM2}，这是一个整体轻量级框架，旨在解决上述漏洞，同时系统地消除计算冗余。具体来说，Lean-SAM2 集成了三种协作机制：（1）目标锚定记忆修剪（TAMP）通过针对提示衍生的前景锚点调节原始注意力重要性和语义一致性，保护目标标记免受欺骗性注意力； （2）保险记忆时间压缩（TCIM）通过可见性门控融合压缩历史背景，同时有条件地将高置信度条目存档在并行保障记忆库中； （3）目标锚定风险感知路由（TARR）根据锚点相似性选择性地激活目标相关窗口的重型图像编码器，利用风险感知回退策略在易失性转换期间触发全帧刷新。对多个具有挑战性的基准的广泛评估表明，Lean-SAM2 在准确性和效率之间建立了卓越的平衡。例如，在 LVOSv2 验证数据集上，Lean-SAM2 在 SAM2.1-Large 和 SAM2.1-Base+ 上分别实现了 $1.412\times$ 和 $1.417\times$ 的整体推理加速，显着优于 Efficient-SAM2，同时将相应的 $\mathcal{J}\&\mathcal{F}$ 分数提高了 $5.0\%$ 和$3.6\%$。代码可在 https://github.com/DeawhaleQwQ/Lean-SAM2 获取。