混合语言模型的低比特循环状态

混合语言模型维持固定大小的循环状态，但现有的量化器通常使用八位或更多位。量化误差根据通道衰减率而持续存在。我们从可观测性格拉姆矩阵中导出失真权重，并将其与归一化状态范围相结合，以实现混合精度位分配，无需校准数据、旋转或训练。我们还对衰减率进行对数量化。通过每个词元状态量化，相对于三个混合模型的七个基线中的最佳值，四位平均有效负载将相对基线增加的负对数似然减少了 3.3--27.9 倍；元数据成本各不相同。在 6 位时，负对数似然与 FP32 状态基线的差异小于 0.005 nat。消融将增益与可变位宽、衰减权重和范围标准化分开。随着回写频率的降低，收益会减少，具体取决于模型和预算。