UniSVQ：2 位统一标量矢量量化

后训练 2 位级别的量化可实现 大语言模型 (LLM) 的低成本部署和推理加速。标量量化（SQ）和矢量量化（VQ）是两种主要的量化方法，然而，前者的性能明显下降，后者会产生计算和存储开销。我们提出了 UniSVQ，一个统一的 2 位量化框架，通过将码字参数化为整数格的仿射变换来连接标量和矢量量化。这种结构保留了与优化整数内核的兼容性，同时保留了 VQ 的大部分灵活性。我们进一步引入了数据驱动的逐块 微调 策略来直接最小化量化重建误差。跨多个 LLM 系列和零样本基准的大量实验表明，UniSVQ 始终优于最先进的 SQ 方法，并实现与高级 VQ 方法相当的性能，同时提供更高的推理吞吐量。代码可在 https://github.com/AI9Stars/UniSVQ 上公开获取。