TVQ用可训练潜在权重优化向量量化LLM

向量量化 (VQ) 是一种快速发展的技术，用于压缩大型语言模型 (LLM) 权重、减少内存使用并加快推理速度。然而，极端压缩会降低模型性能，由于 VQ 参数的离散性质，模型性能很难恢复。现有方法采用免训练方法，仅限于逐层重建损失最小化。为了解决这一限制，我们提出了 TVQ，这是一种利用直通估计器（STE）来实现向量量化 LLMs 的基于梯度下降的优化的新颖方法。通过使用可训练的潜在权重重新制定 VQ LLM 优化，TVQ 可以实现任意目标最小化。我们通过在分块知识蒸馏范式中应用 TVQ 来构建我们的方法，平衡质量和训练效率，并提出了几种加速训练的实用解决方案。在现代 LLMs 的实验中，我们证明了 TVQ 与现代 VQ 方案兼容。因此，TVQ 通过适度的训练预算和简单的 PyTorch 实现，在低比特训练后量化（PTQ）设置中实现了最先进的质量。例如，TVQ 为 LLaMA2-70B 实现了近乎无损的 2 位量化，而在流行的问答基准测试中，准确度仅下降了 1%。