$\text{Log}_\text{b}$Quant：对数空间中的量化语言模型

量化已成为降低现代语言模型的内存需求和推理速度的宝贵工具，特别是使其可用于消费者设置和边缘设备。虽然以前的工作主要集中在统一量化码本上，但由于低频高幅度权重，此类方法很容易出现次优表示。我们引入 Log$_\text{b}$Quant，一种具有可调基数的新型对数量化方法，以适应常见的参数分布。我们表明，与张量粒度的非对称线性量化相比，我们的方法在多个性能基准测试中表现出 4 位精度的卓越性能，同时实现了适度的加速和高内存节省，使其适合消费级 GPU 上的私人使用。