论大语言模型中权重量化的表现力

近年来，以 $n$ 位格式对 大语言模型 的可学习参数进行编码的权重量化由于其模型压缩和推理加速的潜力而引起了广泛关注。许多实用技术已经开发出来；然而，许多方面的理论理解仍然不清楚，特别是随着量化位数的减少，表达能力的近似和退化。在本文中，我们对 大语言模型 相对于量化位数的表达能力进行了理论研究。通过建立权重量化模型相对于量化位数的通用近似和表达崩溃特性，我们认为 1.58 位是权重量化的限制精度。此外，我们确认权重量化会导致表达能力下降，其中权重量化模型的表达能力随着量化位数的减少而呈多项式下降。这些理论发现为在缩放定律的背景下推进权重量化奠定了坚实的基础，并为模型压缩和推理加速的未来研究提供了见解。