医学基础模型的按权重分组后训练量化

摘要

基础模型在医学图像分析方面取得了显着的成果。然而，其庞大的网络架构和高计算复杂度极大地影响了推理速度，限制了其在终端医疗设备上的应用。量化是一种将模型压缩为低位版本的技术，是应对这一挑战的解决方案。在本文中，我们提出了一种后训练量化算法，Permutation-COMQ。它通过使用简单的点积和舍入操作消除了反向传播的需要，从而消除了超参数调整并简化了过程。此外，我们引入了一种权重感知策略，可以对每层内的权重进行重新排序，以解决量化过程中通道缩放引起的精度下降问题，同时保留通道结构。实验表明，我们的方法在 2 位、4 位和 8 位量化中取得了最佳结果。