CAR-SAM：分段任意模型 后训练 量化的交叉注意力重建

分段任意模型 (SAM) 广泛用于计算机视觉中的通用图像分割，但由于其高计算和内存需求，将其部署在资源受限的设备上具有挑战性。 后训练 量化 (PTQ) 是一种广泛使用的模型压缩和加速技术。然而，现有的 PTQ 方法未能考虑 SAM 解码器中的交叉注意力架构。这种退化主要源于 SAM 带来的独特挑战：（1）注意力耗散，解码器中对于表示分段掩模至关重要的注意力信息在低比特量化下崩溃为分散且非语义的形式； (2)重构振荡，其中双向Transformer内的双向耦合引入跨分支误差干扰并破坏收敛稳定性。为了解决这些问题，我们提出了 CAR-SAM，一个专为 SAM 量身定制的统一量化框架。首先，为了减轻注意力分散，我们引入了 MatMul 感知补偿（MAC）机制，将激活引起的量化误差从 MatMul 转移到前面的线性权重。其次，为了减轻解码器优化中的振荡，我们开发了联合交叉注意重建（JCAR）策略，该策略联合重建耦合注意分支，抑制振荡行为并促进稳定收敛。大量实验表明，CAR-SAM 能够将 SAM 模型稳健地量化至 4 位精度，在 SAM-B 和 SAM-L 上分别比现有方法高出 14.6% 和 6.6% mAP。